💡
原文中文,约1800字,阅读约需5分钟。
📝
内容提要
Hadoop项目通过构建大量虚假节点(Fake NM)来模拟ResourceManager的压力,以优化性能。主要模块包括Fake NM和SLSRunner,分别负责容器管理和压力测试作业。配置文件需根据实际情况调整,运行后可进行性能测试。
🎯
关键要点
- Hadoop项目通过构建大量虚假节点(Fake NM)来模拟ResourceManager的压力,以优化性能。
- 项目主要模块包括Fake NM和SLSRunner,分别负责容器管理和压力测试作业。
- Fake NM负责构造大量的虚假节点,主要用于容器管理,不会真正启动以防占用资源。
- Fake AM是一个对象,由线程池管理,用于申请新的Container和控制作业运行时长。
- SLSRunner是压测模块,控制提交作业的数量。
- 运行Fake NM前建议停止集群内正常的NM,入口为SLSNodeManager。
- 配置文件包括core-site.xml、hdfs-site.xml和yarn-site.xml,需根据实际情况调整。
- fake.properties文件包含Fake NM的主要配置,如主机名、Rack、rpc端口范围、模拟节点数量等。
- SLSRunner模块用于运行压测任务,入口为SLSRunner,需修改配置文件路径。
- 压测作业相关的配置包括作业的并行度、循环次数和提交队列。
➡️