有同学在写爬虫时使用Scrapy + scrapy_redis实现分布式爬虫,但scrapy_redis更新较少,无法跟上Scrapy的更新。安装最新版Scrapy和scrapy_redis后会出现报错,解决方法是不安装最新版Scrapy,使用指定版本安装。
完成下面两步后,将自动完成登录并继续当前操作。