华为GTS LocMoE+：高可扩展性亲和度 MoE 架构，低开销实现主动路由
内容提要
华为GTS AI计算Lab的研究团队提出了LocMoE+架构，结合了传统的被动路由和专家主动路由机制，通过提高处理判别性token的概率来降低样本噪声和提升训练效率。实验结果表明，LocMoE+可以减少每个专家需要处理的token数量，并提高训练效率，同时减少显存占用。该架构在通用知识和领域知识上的能力也得到了评估。
延伸解读
从被动到主动：路由策略的演进逻辑
LocMoE+的核心创新在于将传统被动路由（Token Choice）与专家主动路由（Expert Choice）结合。文章指出，训练初期路由能力弱时，被动路由成功率更高；后期路由能区分token时，主动路由更高效。这种自适应切换策略基于理论建模，而非经验猜测，为MoE训练提供了一种动态优化思路。
亲和度指标：低开销量化token与专家关系
LocMoE+通过余弦相似度定义token与专家间的亲和度，并以此重排和选择token。这一设计避免了主动路由常见的过高计算开销，同时保持了与被动路由本质的统一。亲和度指标的引入，使得专家能更精准地选择判别性token，从而降低样本噪声，提升训练效率。
实验验证：效率与显存的权衡
在昇腾910B3 NPU集群上，LocMoE+在32至256卡规模下训练效率平均提升5.4%至46.6%，显存占用下降4.57%至16.27%。值得注意的是，显存优势随集群规模增大而缩小，表明其收益在计算密集的小规模场景中更显著。这为实际部署时的资源配置提供了参考。
高扩展性与移植性：跨硬件环境的验证
作者特意选用与LocMoE不同的硬件环境、训练框架和骨干模型进行实验，以证明LocMoE+的高扩展性和易于移植性。这种跨平台验证增强了架构的通用性说服力，也暗示其不依赖于特定硬件优化，为更广泛的工业应用提供了可能。
Q&A
LocMoE+架构的主要创新点是什么？
LocMoE+架构结合了传统的被动路由和专家主动路由机制，通过定义token与专家之间的亲和度指标来提高token分派效率，进而提升训练效率。
LocMoE+在训练效率上有何提升？
实验结果显示，LocMoE+在训练效率上平均提高5.4%至46.6%，并且显存占用下降4.57%至16.27%。
LocMoE+如何降低样本噪声？
LocMoE+通过提高处理判别性token的概率来降低样本噪声，从而提升训练效率。
LocMoE+的实验是在什么硬件上进行的？
实验在昇腾910B3 NPU集群上进行，验证了高性能计算系统的优势。
LocMoE+如何评估其在知识能力上的表现？
LocMoE+使用开源评测集C-Eval和TeleQnA，以及自主构建的ICT领域评测集GDAD进行评估。
LocMoE+架构如何解决MoE经典结构的瓶颈？
LocMoE+通过结合主动路由和被动路由，提升了处理判别性token的能力，从而缓解了MoE经典结构在训练中的瓶颈。
