Ying’s Blog
·
DolphinScheduler笔记之4: 工作流的启动
原文中文，约2600字，阅读约需7分钟。
📝
内容提要
本文介绍了Master-Worker架构的任务调度系统中Master的复杂性，以及需要准确管理工作流状态和调度下一步行为的核心。文章从工作流的生命周期入手，介绍了DolphinScheduler的实现过程。最终，任务实例会被发送到配置的Worker节点，工作流实例正式启动。
🎯
关键要点
-
Master-Worker架构的任务调度系统中，Master的复杂性更高，负责管理任务调度的准确性和稳定性。
-
核心在于准确管理工作流状态和调度下一步行为。
-
任务调度面临的问题包括避免任务重复启动、任务优先级、Worker分组等。
-
DolphinScheduler的工作流生命周期包括任务的初始化和运行。
-
任务启动有两个入口：系统调度和手动运行。
-
Master的执行过程分为生成工作流实例、构造DAG和分发任务实例三个阶段。
-
生成工作流实例时，Master从t_ds_command表中读取命令并生成ProcessInstance。
-
构造DAG时，生成任务实例并确定任务的执行顺序。
-
DAG对象存储了任务节点及其依赖关系，任务按优先级提交。
-
任务实例通过优先级队列分发到Worker节点，完成负载均衡。
-
Worker节点开始处理任务后，向Master发送通知，工作流实例正式启动。
🏷️
