Ying’s Blog
·
DolphinScheduler笔记之3: 工作流的生命周期
💡
原文中文，约1800字，阅读约需5分钟。
📝
内容提要
介绍任务调度系统中任务状态管理的重要性和Apache DolphinScheduler中任务状态的枚举值和转换规则。任务状态包括提交、运行、成功、失败等，实际状态更复杂。任务处理应当是“单线程”的行为，需要考虑正常和异常状态以及功能上导致状态复杂的场景。设计任务状态变换需要考虑系统正常、异常情况下任务的各种可能和功能。
🎯
关键要点
- 任务状态管理在任务调度系统中至关重要，影响准确性和可靠性。
- Apache DolphinScheduler中任务状态有明确的枚举值，状态转换遵循固定规则。
- 任务状态包括提交、运行、成功、失败等，但实际状态更复杂。
- 任务状态的复杂性来源于任务实例之间的依赖关系和系统外部的失败定义。
- 系统入口包括例行调度和任务恢复，后者主要针对容错和重试场景。
- 工作流状态的构建依赖于DAG，任务的分配和处理涉及多个Worker实例。
- Master需要在可用性和一致性之间做出判断，处理任务的重新分配。
- 任务处理应为单线程行为，关注输入和输出，避免锁和竞争。
- DolphinScheduler中的任务处理在Worker模块实现，结果反馈给Master。
- 任务状态更新涉及重试、忽略和报警等后续行为。
- 任务执行超时、DAG节点禁用等功能会导致状态复杂化，需合理设计状态变换。
➡️
