Hadoop Yarn的ResourceManager压测指南

Hadoop Yarn的ResourceManager压测指南

💡 原文中文,约1800字,阅读约需5分钟。
📝

内容提要

Hadoop项目通过构建大量虚假节点(Fake NM)来模拟ResourceManager的压力,以优化性能。主要模块包括Fake NM和SLSRunner,分别负责容器管理和压力测试作业。配置文件需根据实际情况调整,运行后可进行性能测试。

🎯

关键要点

  • Hadoop项目通过构建大量虚假节点(Fake NM)来模拟ResourceManager的压力,以优化性能。
  • 项目主要模块包括Fake NM和SLSRunner,分别负责容器管理和压力测试作业。
  • Fake NM负责构造大量的虚假节点,主要用于容器管理,不会真正启动以防占用资源。
  • Fake AM是一个对象,由线程池管理,用于申请新的Container和控制作业运行时长。
  • SLSRunner是压测模块,控制提交作业的数量。
  • 运行Fake NM前建议停止集群内正常的NM,入口为SLSNodeManager。
  • 配置文件包括core-site.xml、hdfs-site.xml和yarn-site.xml,需根据实际情况调整。
  • fake.properties文件包含Fake NM的主要配置,如主机名、Rack、rpc端口范围、模拟节点数量等。
  • SLSRunner模块用于运行压测任务,入口为SLSRunner,需修改配置文件路径。
  • 压测作业相关的配置包括作业的并行度、循环次数和提交队列。
➡️

继续阅读