distributedShell是Yarn的应用程序,用于压测Yarn。用户通过初始化Client对象提交作业,核心流程包括连接Yarn、申请AppId和提交作业,作业信息在ApplicationSubmissionContext中配置,AM负责管理作业执行和资源分配。
作业启动的核心类为Job.java,入口函数为waitForCompletion。作业通过submit()函数提交,连接ResourceManager并上传文件。YARNRunner.java负责处理作业提交,创建上下文信息并发送请求。MRAppMaster.java初始化作业,创建Job对象并发送事件。作业启动后,调度Map和Reduce任务,最终处理作业的提交与完成。
本文介绍了作业提交流程、Yarn调度器、不同类型的调度器、调度原理、资源分配方式,包括先进先出调度器、容量调度器、公平调度器等,同时还介绍了DRF策略。
完成下面两步后,将自动完成登录并继续当前操作。