本文介绍Kimi K3模型预训练的并行系统设计，聚焦MoE层expert并行。核心是MoonEP方案：每个rank预留E/R个冗余expert槽位，确保任意router输出都能使各rank计算完全平衡，消除负载不均和动态shape问题。同时用感知负载的GEMM调度解决rank内偏斜，并将视觉编码器计算塞入流水线气泡，减少等待开销。