9.4 网络爬虫的实践应用

9.4 网络爬虫的实践应用

【案例9-2】 爬取豆瓣排在前250名的电影。

爬取豆瓣排在前250名电影的播放链接、封面链接、中外文名等数据,并将数据存储到文件中。

案例分析:

使用requests库获取网页数据,使用bs4和re对网页进行解析和文字匹配。

最后使用xlwt和pymysql将数据存入Excel和数据库。

实现代码:

获取到的数据保存在Excel文件中,文件中内容如图9-8所示。