【python爬虫】基于scrapy的小说爬虫

前言 最近一直在学爬虫，从最基本的urllib到requests、beautifulsoup到分布式爬虫框架scrapy,现在终于感觉可以上路了。所以先基于scrapy重写了我以前做的小说爬虫，代码都很简单，就不注释了。相关的知识点在我的python爬虫系列文章后面都会介绍到。 主要的参考文献： scrapy官方文档(无中文) python官方文档(有中文) 思路 1.搜索小说名，...