Kubernetes中AI训练的成组调度与拓扑感知放置
内容提要
Kubernetes原生调度器难以满足分布式AI训练需求：Pod需按GPU互联带宽就近放置，且须整组同时启动。Kueue通过拓扑感知调度将Pod限制在合适拓扑域内，Coscheduling插件实现成组调度，避免GPU被占用却空转。可通过Kueue指标、Workload拓扑分配、PodGroup状态及训练吞吐量验证调度效果。Kubernetes v1.35–v1.37正逐步原生支持这些能力，但仍处早期，Kueue与Coscheduling仍是生产首选。
延伸解读
拓扑感知调度：性能瓶颈常被基础设施指标掩盖
文章指出，GPU集群中同节点、同机架、跨机架的通信延迟差异显著，而Kubernetes默认调度器不考虑物理拓扑，可能将训练Pod分散到高延迟位置。此时GPU并未空闲，基础设施指标看似正常，但训练吞吐量远低于硬件潜力。Kueue通过节点拓扑标签将Pod限制在单一域内，但前提是管理员或云厂商已正确打标。读者需注意：拓扑分配成功不等于性能达标，还需结合NVLink、PCIe和网络遥测排查硬件或驱动问题。
成组调度：避免GPU被占用却空转
分布式训练要求所有Pod同时启动，否则部分Pod占用GPU等待其余Pod，造成资源浪费。Coscheduling插件通过PodGroup跟踪成组状态，确保整组Pod同时绑定。文章强调，PodGroup长期停留在Pending或Scheduling状态，可能意味着集群无法在指定拓扑域内满足资源需求，或节点选择器、污点等约束过严。排查时应先看Kueue Workload是否已准入：若未准入，问题在配额或拓扑配置；若已准入但PodGroup未运行，则问题在调度器组装阶段。
验证调度效果：从队列指标到训练吞吐量
文章建议分层验证：用Kueue指标观察准入队列深度和等待时间，用Workload对象的topologyAssignment确认拓扑分配，用PodGroup状态判断成组组装，最后用训练框架的吞吐量指标（如steps/s、tokens/s）确认实际效果。Ray的placement group指标可直接反映调度等待，而PyTorch DDP等框架只提供间接吞吐信号。读者应注意，单一指标不足以定位根因，需将PodGroup超时、GPU互联带宽下降与吞吐量下滑关联分析，才能区分调度问题与硬件故障。
原生调度能力尚早，Kueue仍是生产首选
文章梳理了Kubernetes v1.35至v1.37的演进：v1.35引入成组调度alpha，v1.36增加拓扑感知调度和原生PodGroup API，v1.37将成组调度和工作负载感知抢占推进至beta，但默认关闭且功能尚不完整，拓扑感知调度仍为alpha。因此，Kueue与Coscheduling仍是当前生产环境的推荐路径。读者若计划未来迁移，可先基于现有栈建立可观测性基线，因为原生API暴露的概念与现有监控信号直接对应，便于后续评估和过渡。
Q&A
为什么Kubernetes原生调度器不适合分布式AI训练？
Kubernetes原生调度器逐个独立调度Pod，而分布式AI训练要求Pod按GPU互联带宽就近放置，并且所有Pod必须同时启动。任一要求不满足，训练就会停滞或远低于硬件潜力。
拓扑感知调度如何提升分布式训练性能？
拓扑感知调度根据节点间的物理连接（如同节点NVLink、同机架高速网络、跨机架InfiniBand）将Pod限制在合适的拓扑域内，减少通信延迟，避免通信开销占用大量训练时间。
Kueue和Coscheduling插件分别负责什么？
Kueue在准入时写入拓扑约束，控制作业何时进入调度器；Coscheduling插件通过PodGroup实现成组调度，确保所有Pod同时绑定，避免部分启动导致GPU空转。
如何验证Kueue的拓扑感知调度是否生效？
检查Kueue Workload对象的status.admission.podSetAssignments[].topologyAssignment字段，确认PodSet被放置到预期的拓扑层级和域值。
PodGroup的status.phase有哪些状态，分别代表什么？
Pending表示已接受但资源未分配足够；Scheduling表示已调度Pod数超过minMember但运行数未达minMember；Running表示至少minMember个Pod运行；Unknown表示部分Pod已调度但其余无法调度；Finished表示所需Pod成功完成；Failed表示至少一个所需Pod失败。
Kubernetes原生调度器对AI训练的支持进展如何？
v1.35引入成组调度alpha；v1.36增加拓扑感知调度、工作负载感知抢占和原生PodGroup API等alpha特性；v1.37将成组调度和抢占提升为beta（默认禁用），拓扑感知调度仍为alpha。原生能力尚不完善，Kueue与Coscheduling仍是生产首选。
