如何在DolphinScheduler中跟踪YARN任务状态?

如何在DolphinScheduler中跟踪YARN任务状态?

💡 原文英文,约900词,阅读约需4分钟。
📝

内容提要

DolphinScheduler中的YARN任务状态跟踪由AbstractYarnTask实现,该类定义了提交和跟踪YARN任务的核心接口。任务状态包括FINISHED、FAILED和KILLED,但FINISHED并不总是表示成功,需要进一步评估。

🎯

关键要点

  • DolphinScheduler中的YARN任务状态跟踪由AbstractYarnTask实现。
  • 任务状态包括FINISHED、FAILED和KILLED,但FINISHED并不总是表示成功。
  • DolphinScheduler最初通过applicationId来确定YARN任务状态。
  • 在Flink Stream Application模式下,客户端Shell立即退出,导致DolphinScheduler错误地标记任务为成功。
  • AbstractYarnTask类实现了YARN状态跟踪,提供了submitApplication和trackApplicationStatus接口。
  • handleFinalState方法处理YARN任务的最终状态,FINISHED状态需要进一步评估。
  • YARN任务的状态可能包括SUCCEEDED、FAILED和KILLED,FINISHED不能被视为最终状态。
  • 使用HTTP请求可以杀死YARN任务,必须指定user.name以确保成功。
➡️

继续阅读