小令童鞋
·
Mapredcue作业启动
内容提要
作业启动的核心类为Job.java，入口函数为waitForCompletion。作业通过submit()函数提交，连接ResourceManager并上传文件。YARNRunner.java负责处理作业提交，创建上下文信息并发送请求。MRAppMaster.java初始化作业，创建Job对象并发送事件。作业启动后，调度Map和Reduce任务，最终处理作业的提交与完成。
关键要点
-
作业启动的核心类为Job.java，入口函数为waitForCompletion。
-
作业通过submit()函数提交，连接ResourceManager并上传文件。
-
YARNRunner.java负责处理作业提交，创建上下文信息并发送请求。
-
MRAppMaster.java初始化作业，创建Job对象并发送事件。
-
作业启动后，调度Map和Reduce任务，最终处理作业的提交与完成。
-
Job.java的submit()函数是作业启动的核心，负责连接ResourceManager和提交作业。
-
YARNRunner.java创建上下文信息并提交作业，等待作业启动完成。
-
MRAppMaster.java是启动AM的入口，负责初始化作业和发送事件。
-
JobImpl对象初始化时，设置线程池和作业状态机。
-
作业初始化成功后，触发作业启动事件，开始执行任务。
-
作业提交后，处理作业的成功与失败，记录作业历史事件。
延伸解读
作业启动流程概述
作业启动的流程主要包括作业提交、资源管理器连接、上下文信息创建等步骤。Job.java类中的submit()函数是关键，负责连接ResourceManager并提交作业。YARNRunner.java则处理作业的具体提交请求，确保作业能够顺利启动。理解这些流程有助于优化作业提交的效率。
YARNRunner的角色
YARNRunner.java在作业启动中扮演着重要角色，它负责创建应用程序提交上下文并发送作业启动请求。了解YARNRunner的工作机制，可以帮助开发者更好地调试作业提交过程中的问题，尤其是在作业启动失败时，能够快速定位问题所在。
MRAppMaster的初始化
MRAppMaster.java是作业启动的核心，负责初始化作业和管理作业状态。它通过创建Job对象并发送事件来启动作业。关注MRAppMaster的初始化过程，可以帮助开发者理解作业的生命周期管理，尤其是在处理作业失败或重启时的状态转移。
延伸问答
Job.java的submit()函数有什么作用？
submit()函数负责连接ResourceManager并提交作业，是作业启动的核心部分。
YARNRunner.java在作业启动中扮演什么角色？
YARNRunner.java负责处理作业提交，创建上下文信息并发送请求以启动作业。
MRAppMaster.java的主要功能是什么？
MRAppMaster.java是启动AM的入口，负责初始化作业和发送事件以启动作业。
作业启动后会发生什么？
作业启动后会调度Map和Reduce任务，并处理作业的提交与完成。
JobImpl对象在初始化时做了哪些设置？
JobImpl对象初始化时设置线程池和作业状态机，并注册事件处理器。
作业提交后如何处理成功与失败？
作业提交后会记录作业历史事件，并处理作业的成功与失败情况。
