DEV Community
·
DolphinScheduler 任务调度、拆分与执行工作流的深入分析
💡
原文英文，约1400词，阅读约需5分钟。
📝
内容提要
Apache DolphinScheduler 是一个开源的分布式可视化 DAG 工作流调度系统，适用于企业级场景。它通过 MasterServer 和 WorkerServer 进行任务拆分、提交和执行，使用异步分布式消费和 RPC 接口回调管理任务状态，并通过缓存和优先级队列确保调度的稳定性和扩展性。
🎯
关键要点
- Apache DolphinScheduler 是一个开源的分布式可视化 DAG 工作流调度系统，适用于企业级场景。
- DAG（有向无环图）用于存储任务依赖关系和调度信息，每个节点代表一个调度任务，边表示任务之间的依赖关系。
- DolphinScheduler 系统有两个核心角色：MasterServer 和 WorkerServer，Master 负责任务拆分和提交，Worker 负责任务执行和日志服务。
- 任务调度工作流程包括命令分发、DAG 遍历、可执行任务调度和任务执行状态回调通知。
- 命令通过异步分布式消费在 Master 服务器上分发，使用 ZooKeeper 进行故障容错。
- 任务执行状态通过 RPC 接口进行异步处理，Worker 向 Master 反馈任务状态。
- 任务状态处理通过缓冲队列进行，多个生产者和消费者共同作用于任务的执行和状态更新。
➡️
