Koordinator 支持 K8s 与 YARN 混部,小红书在离线混部实践分享
原文中文,约3000字,阅读约需8分钟。发表于: 。在此之前,业界已经有关于 K8s 与 YARN 混部的一些内部实践,不过受限于落地场景,大部分的实现方式都对 YARN 系统本身做了相当多的侵入式改造,在运维和迭代上对普通用户来说不够友好。为了让更多用户享受到社区的开源技术红利,Koordinator 的设计将遵循以下几个原则:
Koordinator是一个开源项目,支持K8s生态内的在离线混部。小红书与阿里云、蚂蚁金服合作启动了Hadoop YARN与K8s混部项目,已在小红书生产环境使用。通过打通K8s调度器与YARN调度器之间的资源视图,实现了Spark任务在在线闲时资源上稳定运行,提升资源利用率并降低成本。