Koordinator 支持 K8s 与 YARN 混部，小红书在离线混部实践分享
💡
原文中文，约3000字，阅读约需8分钟。
📝
内容提要
Koordinator是一个开源项目，支持K8s生态内的在离线混部。小红书与阿里云、蚂蚁金服合作启动了Hadoop YARN与K8s混部项目，已在小红书生产环境使用。通过打通K8s调度器与YARN调度器之间的资源视图，实现了Spark任务在在线闲时资源上稳定运行，提升资源利用率并降低成本。
🎯
关键要点
- Koordinator是一个开源项目，支持K8s生态内的离线混部。
- 小红书与阿里云、蚂蚁金服合作启动了Hadoop YARN与K8s混部项目。
- 该项目已在小红书生产环境使用，提升了资源利用率并降低成本。
- Koordinator设计遵循不对YARN做侵入式改造的原则。
- YARN的核心组件ResourceManager和NodeManager在混部场景下独立部署。
- Koordinator新增的koord-yarn-operator模块负责同步Batch资源给YARN RM。
- 小红书在离线混部实践中，通过打通K8s与YARN调度器的资源视图，提升了在线集群资源利用率。
- 小红书的离线混部方案覆盖数万台在线集群节点，提供数十万核计算资源。
- 离线任务驱逐率低于1%，混部集群CPU利用率平均增长8%~10%。
- Koordinator团队正在完成发布前的准备工作，欢迎社区参与合作。
➡️
