My College Blog

使用Python编写爬虫，常用库有requests（发送HTTP请求）和BeautifulSoup（解析HTML）。以豆瓣电影TOP250为例，首先用requests.get获取页面源码，然后利用BeautifulSoup定位电影条目，提取排名、片名、评分、评价人数等信息。需要处理翻页和请求头模拟浏览器，避免被反爬。数据可保存为CSV或JSON。这个组合简单易学，适合入门爬虫，但需遵守网站的robots协议。