DS笔记之2:工作流是如何启动的?
原文中文,约2500字,阅读约需6分钟。发表于: 。1. 何时启动工作流? 对于一个任务调度系统,任务的启动无外乎以下两个入口: 系统调度:例如用户配置的Crontab、上游依赖任务的触发、任务的容错 手动运行:例如任务测试、补数、重跑失败任务 这篇笔记主要介绍下,任务生成到数据库后,Master读取、编排DAG、发送到 Worker 的过程。 2. 启动流程 DolphinScheduler 官网的这张图概括了整体的流程:...
DolphinScheduler的启动流程主要包括:生成工作流实例、触发工作流实例、提交工作流实例、分发任务实例,其中构造DAG、提交任务到优先级队列、节点的选择和负载均衡等都是在这一步完成的。