小令童鞋
·
【Hadoop】ResourceManager简介
💡
原文中文，约3700字，阅读约需9分钟。
📝
内容提要
ResourceManager（RM）是全局的资源管理器，负责整个系统的资源管理和分配。它由调度器和应用程序管理器组成。调度器根据容量和队列限制条件将系统资源分配给应用程序。应用程序管理器负责应用程序的提交、资源协商和监控。RM还包括交互模块、NM管理模块、AM管理模块、应用管理模块、状态机管理模块、安全模块和调度模块。RM使用有限状态机维护有状态对象的生命周期。RM还支持权限管理和事件驱动机制。
🎯
关键要点
- ResourceManager(RM)是全局资源管理器，负责资源管理和分配。
- RM由调度器和应用程序管理器组成。
- 调度器根据容量和队列限制条件分配资源，资源单位为container。
- 应用程序管理器负责应用提交、资源协商和监控。
- RM内部架构包括交互模块、NM管理模块、AM管理模块、应用管理模块、状态机管理模块、安全模块和调度模块。
- 交互模块提供ClientRMService、AdminService和WebApp三种服务。
- NM管理模块管理NodeManager，包含ResourceTrackerService、NMLivelinessMonitor和NodesListManager。
- AM管理模块管理ApplicationMaster，包含ApplicationMasterService和AMLivelinessMonitor。
- 应用管理模块管理应用程序的访问权限和启动关闭。
- 状态机管理模块使用有限状态机维护对象生命周期，包括RMApp、RMAppAttempt、RMContainer和RMNode。
- 安全模块提供全面的权限管理机制。
- 调度模块包含ResourceScheduler，支持FIFO、Fair和Capacity调度器。
- RM采用事件驱动机制，组件通过事件交互实现高效系统。
🏷️
标签
➡️
