Apache Livy成为Apache软件基金会的顶级项目，提供REST服务以简化与Apache Spark集群的交互，用户可以通过REST接口轻松提交Spark作业、获取结果并管理Spark上下文，促进Spark在互动网页和移动应用中的使用。

distributedShell是Yarn的应用程序，用于压测Yarn。用户通过初始化Client对象提交作业，核心流程包括连接Yarn、申请AppId和提交作业，作业信息在ApplicationSubmissionContext中配置，AM负责管理作业执行和资源分配。

作业启动的核心类为Job.java，入口函数为waitForCompletion。作业通过submit()函数提交，连接ResourceManager并上传文件。YARNRunner.java负责处理作业提交，创建上下文信息并发送请求。MRAppMaster.java初始化作业，创建Job对象并发送事件。作业启动后，调度Map和Reduce任务，最终处理作业的提交与完成。

本文介绍了作业提交流程、Yarn调度器、不同类型的调度器、调度原理、资源分配方式，包括先进先出调度器、容量调度器、公平调度器等，同时还介绍了DRF策略。