任务队列 Celery 架构
💡
原文中文，约4100字，阅读约需10分钟。
📝
内容提要
Celery 是一个分布式任务队列系统，支持异步执行和耗时操作。其架构包括生产者、队列和消费者，具备任务持久化、重试和定时处理功能。Celery 通过消息代理管理任务，确保任务的可靠性和可追踪性。
🎯
关键要点
- Celery 是一个分布式任务队列系统，用于异步执行任务。
- 支持耗时操作的场景，如文件格式转换和数据统计。
- Celery 支持定时及延迟任务。
- 实现任务队列需要生产者、队列和消费者三个角色。
- 生产者负责提交任务，队列需要持久化以防丢失任务。
- 消费者从队列中取出任务并执行，可能需要使用线程池或容器。
- 需要考虑背压、任务丢失、任务重复、失败重试和延迟处理等问题。
- Celery 的架构包括客户端层、消息基础设施、Worker 系统、结果存储和调度器系统。
- 使用 Celery 时，任务的生命周期包括任务提交、执行和结果检索。
- Celery Beat 支持定时任务，但存在单点风险。
- 任务定义的兼容性在升级时需要特别注意。
