小令童鞋
·
Hadoop Yarn的ResourceManager压测指南
内容提要
Hadoop项目通过构建大量虚假节点（Fake NM）来模拟ResourceManager的压力，以优化性能。主要模块包括Fake NM和SLSRunner，分别负责容器管理和压力测试作业。配置文件需根据实际情况调整，运行后可进行性能测试。
关键要点
-
Hadoop项目通过构建大量虚假节点（Fake NM）来模拟ResourceManager的压力，以优化性能。
-
项目主要模块包括Fake NM和SLSRunner，分别负责容器管理和压力测试作业。
-
Fake NM负责构造大量的虚假节点，主要用于容器管理，不会真正启动以防占用资源。
-
Fake AM是一个对象，由线程池管理，用于申请新的Container和控制作业运行时长。
-
SLSRunner是压测模块，控制提交作业的数量。
-
运行Fake NM前建议停止集群内正常的NM，入口为SLSNodeManager。
-
配置文件包括core-site.xml、hdfs-site.xml和yarn-site.xml，需根据实际情况调整。
-
fake.properties文件包含Fake NM的主要配置，如主机名、Rack、rpc端口范围、模拟节点数量等。
-
SLSRunner模块用于运行压测任务，入口为SLSRunner，需修改配置文件路径。
-
压测作业相关的配置包括作业的并行度、循环次数和提交队列。
延伸解读
Fake NM的作用与优势
Fake NM通过构造虚假节点来模拟真实环境中的压力，避免了实际资源的占用。这种方法可以有效测试ResourceManager在高负载下的表现，帮助开发者识别潜在的性能瓶颈，从而进行针对性的优化。
配置文件的重要性
在进行压测之前，配置文件的正确设置至关重要。core-site.xml、hdfs-site.xml和yarn-site.xml等文件需要根据实际集群环境进行调整，以确保模拟的准确性和有效性。错误的配置可能导致测试结果不可靠。
SLSRunner的功能与使用
SLSRunner模块负责控制压测作业的提交数量，用户需根据需求调整作业的并行度和循环次数。合理配置这些参数可以帮助更好地模拟实际使用场景，从而获得更具参考价值的性能数据。
延伸问答
Hadoop Yarn的ResourceManager压测是如何进行的？
通过构建大量虚假节点（Fake NM）来模拟ResourceManager的压力，使用Fake NM和SLSRunner模块进行性能优化和压力测试。
Fake NM在Hadoop压测中有什么作用？
Fake NM负责构造大量虚假节点，主要用于容器管理，不会真正启动以防占用资源。
SLSRunner模块的主要功能是什么？
SLSRunner模块用于控制提交作业的数量，负责运行压测任务。
在运行Fake NM之前需要注意什么？
建议在运行Fake NM之前停止集群内正常的节点管理器（NM）。
配置文件中需要调整哪些参数以适应压测？
需要调整core-site.xml、hdfs-site.xml和yarn-site.xml中的参数，如模拟节点的内存和vcore等。
如何修改Fake NM的主要配置？
在fake.properties文件中修改主机名、Rack、rpc端口范围和模拟节点数量等配置。
