小令童鞋
·
【Hadoop】Yarn 作业启动源码解读
💡
原文中文，约11100字，阅读约需27分钟。
📝
内容提要
本文介绍了作业提交的流程和相关类的功能。作业提交的核心类是Job.java，其中的submit()函数实现了作业的提交。在作业提交过程中，主要包括连接ResourceManager、上传文件、初始化配置和提交作业等步骤。作业的提交过程涉及到多个类和函数，包括JobSubmitter、YARNRunner和MRAppMaster等。最终，作业提交成功后，会触发CommitSucceededTransition事件，作业状态变为SUCCEEDED。
🎯
关键要点
- 作业提交的核心类是Job.java，入口函数为waitForCompletion。
- submit()函数实现了作业的提交，主要步骤包括连接ResourceManager、上传文件、初始化配置和提交作业。
- JobSubmitter类负责作业的内部提交，核心函数为submitJobInternal。
- YARNRunner类处理作业提交的逻辑，包括创建上下文信息和提交作业请求。
- MRAppMaster类是启动AM的入口，负责初始化和启动作业。
- JobImpl对象初始化时，设置作业状态机和其他配置。
- 作业初始化成功后，触发作业启动事件，开始执行作业。
- 作业提交成功后，触发CommitSucceededTransition事件，作业状态变为SUCCEEDED。
➡️
