【案例10-6】 多线程爬取小说。
多线程可以实现多任务同步进行。下面的代码实现了利用多线程爬取笔趣阁网站的小说。
小说爬取需先输入小说名称和多线程数量,然后在网站上按章节进行爬取,并将爬取的数据保存到字典中,再按小说的章节进行排序,最后将内容保存到指定路径的文本文件中,以输入的小说名作为文件名保存。具体代码如下:
运行结果分别如图10-5与图10-6所示。
图10-5 输入小说名和线程数量