DEV Community
·
如何在DolphinScheduler中跟踪YARN任务状态？
内容提要
DolphinScheduler中的YARN任务状态跟踪由AbstractYarnTask实现，该类定义了提交和跟踪YARN任务的核心接口。任务状态包括FINISHED、FAILED和KILLED，但FINISHED并不总是表示成功，需要进一步评估。
关键要点
-
DolphinScheduler中的YARN任务状态跟踪由AbstractYarnTask实现。
-
任务状态包括FINISHED、FAILED和KILLED，但FINISHED并不总是表示成功。
-
DolphinScheduler最初通过applicationId来确定YARN任务状态。
-
在Flink Stream Application模式下，客户端Shell立即退出，导致DolphinScheduler错误地标记任务为成功。
-
AbstractYarnTask类实现了YARN状态跟踪，提供了submitApplication和trackApplicationStatus接口。
-
handleFinalState方法处理YARN任务的最终状态，FINISHED状态需要进一步评估。
-
YARN任务的状态可能包括SUCCEEDED、FAILED和KILLED，FINISHED不能被视为最终状态。
-
使用HTTP请求可以杀死YARN任务，必须指定user.name以确保成功。
延伸问答
DolphinScheduler如何跟踪YARN任务状态？
DolphinScheduler通过AbstractYarnTask类实现YARN任务状态跟踪，该类提供了提交和跟踪YARN任务的核心接口。
YARN任务的状态有哪些？
YARN任务的状态包括FINISHED、FAILED和KILLED，但FINISHED并不总是表示成功，需要进一步评估。
在Flink Stream Application模式下，DolphinScheduler会出现什么问题？
在Flink Stream Application模式下，客户端Shell立即退出，导致DolphinScheduler错误地标记任务为成功，而实际任务仍在YARN上运行。
如何使用HTTP请求杀死YARN任务？
可以使用HTTP PUT请求，指定任务状态为KILLED，并必须包含user.name以确保成功。
FINISHED状态在DolphinScheduler中意味着什么？
FINISHED状态并不一定表示任务成功，可能还需要进一步评估其最终状态，如SUCCEEDED、FAILED或KILLED。
AbstractYarnTask类的主要功能是什么？
AbstractYarnTask类实现了YARN任务的状态跟踪，提供了submitApplication和trackApplicationStatus等接口。
