通过extesion实现scrapy-redis定时调度
💡
原文中文，约7300字，阅读约需18分钟。
📝
内容提要
本文介绍了一个Scrapy扩展，用于定时调度爬虫。该扩展通过Redis管理任务队列，支持使用crontab语法和间隔时间来调度爬虫，确保在空闲时自动启动任务。
🎯
关键要点
- 本文介绍了一个Scrapy扩展，用于定时调度爬虫。
- 该扩展通过Redis管理任务队列，支持使用crontab语法和间隔时间来调度爬虫。
- 扩展的初始化包括设置最大空闲次数和爬虫信号。
- 支持在爬虫中定义crontab语法以实现定时调度。
- 通过Redis去重机制避免重复启动爬虫。
- 根据间隔时间调度爬虫，确保在空闲时自动启动任务。
- 爬虫启动时会判断是否需要定时调度，并记录上次启动时间。
- 将爬虫的起始URL插入Redis队列以便后续处理。
- 爬虫关闭时记录相关信息并关闭爬虫引擎。
- 在爬虫空闲时记录状态并决定是否激活调度。
➡️
