Ying’s Blog
·
DolphinScheduler笔记之6: 依赖任务DependentTaskProcessor
💡
原文中文，约6900字，阅读约需17分钟。
📝
内容提要
本文介绍了 DolphinScheduler 中任务依赖的实现方式，任务依赖在大数据离线场景中非常重要，可以避免任务执行失败或数据错误。DolphinScheduler 采用了轮询机制来实现任务依赖，同时支持且或关系。应当尽可能在本地缓存任务查询结果，避免重复远程请求，造成服务端、DB的压力。
🎯
关键要点
- 任务依赖在大数据离线场景中非常重要，避免任务执行失败或数据错误。
- DolphinScheduler 采用轮询机制实现任务依赖，支持且或关系。
- 任务依赖是任务调度系统的重要组成部分，确保任务按顺序执行。
- 大部分调度系统通过 crontab 时间属性触发任务，触发式增加系统复杂度。
- DolphinScheduler 的任务依赖实现采用轮询机制，定期检查依赖任务状态。
- 任务依赖支持多个任务的且或关系，配置灵活。
- DependentTaskProcessor 是任务依赖的核心实现类，管理多个组合依赖。
- 任务依赖的状态检查和结果计算分为多个步骤，确保依赖关系的准确性。
- 缓存任务查询结果以减少对服务端和数据库的压力。
- 理解任务依赖配置对调度准确性至关重要，复杂的逻辑关系可能不常用。
🏷️
标签
➡️
