文章讨论了离线数据处理的时间边界和调度问题,提出了离线数仓任务的模型和任务调度系统。还讨论了微批处理和流处理的模型变化,以及T+1和流处理任务的调度要求和差异。最后,提出了一套统一开发和管理任务的平台。
2023年,任务调度系统迁移到DolphinScheduler,总结迁移经验并发表在微信公众号。对实时计算问题进行反思,认为升级到DolphinScheduler是正确决定。推荐《麒麟之翼》。
本文介绍了Master-Worker架构的任务调度系统中Master的复杂性,以及需要准确管理工作流状态和调度下一步行为的核心。文章从工作流的生命周期入手,介绍了DolphinScheduler的实现过程。最终,任务实例会被发送到配置的Worker节点,工作流实例正式启动。
介绍任务调度系统中任务状态管理的重要性和Apache DolphinScheduler中任务状态的枚举值和转换规则。任务状态包括提交、运行、成功、失败等,实际状态更复杂。任务处理应当是“单线程”的行为,需要考虑正常和异常状态以及功能上导致状态复杂的场景。设计任务状态变换需要考虑系统正常、异常情况下任务的各种可能和功能。
本文介绍了Master-Worker架构的任务调度系统中Master的复杂性,以及需要准确管理工作流状态和调度下一步行为的核心。介绍了DolphinScheduler的工作流生命周期的任务状态,包括生成工作流实例、构造DAG并生成任务实例、分发任务实例三个阶段。最终,工作流实例正式启动。
介绍任务调度系统中任务状态管理的重要性和Apache DolphinScheduler中任务状态的枚举值和状态转换规则。任务状态包括提交、运行、成功、失败等,但实际状态更为复杂。需要考虑正常和异常状态,还需要考虑一些功能上导致状态复杂的场景。
完成下面两步后,将自动完成登录并继续当前操作。