DolphinScheduler笔记之6: 依赖任务DependentTaskProcessor

DolphinScheduler笔记之6: 依赖任务DependentTaskProcessor

💡 原文中文,约6900字,阅读约需17分钟。
📝

内容提要

本文介绍了 DolphinScheduler 中任务依赖的实现方式,任务依赖在大数据离线场景中非常重要,可以避免任务执行失败或数据错误。DolphinScheduler 采用了轮询机制来实现任务依赖,同时支持且或关系。应当尽可能在本地缓存任务查询结果,避免重复远程请求,造成服务端、DB的压力。

🏷️

标签

➡️

继续阅读