GW-MoE：应用全局工作空间理论解决 MoE 路由器中的不确定性
内容提要
本文提出了一种新颖的负载均衡与局部性结合的路由策略，改进了PanGu-Sigma模型，训练时间减少12.68%至22.24%。LocMoE+通过量化和自适应路由提高训练效率，专家处理的令牌数量减少60%。StableMoE方法有效解决了路由波动问题，动态专家选择框架提升了计算效率，优化了复杂任务中的资源分配能力。
延伸解读
路由策略的通信优化与效率提升
文章提出将部分节点间通信转换为节点内通信的路由策略，在PanGu-Sigma模型上验证，减少每轮训练时间12.68%至22.24%且不影响准确性。这提示在分布式训练中，通过优化通信模式可以显著提升效率，而局部性结合负载均衡是关键。
LocMoE+的量化与自适应路由
LocMoE+通过量化和定义专家与令牌的关联性，实施全局级自适应路由重新排列令牌，并重新估计专家容量下限。实验显示每个专家处理的令牌数量减少超过60%，训练效率平均提高5.4%至46.6%，微调后在多个数据集上性能提升9.7%至14.1%。这表明低成本改进能有效提升MoE架构的效率。
StableMoE解决路由波动问题
StableMoE采用两阶段方法解决学习路由MoE中的路由波动问题，并在语言模型和多语言机器翻译上验证了有效性。路由波动可能导致训练不稳定，该方法为提升MoE训练稳定性提供了思路。
动态专家选择框架的资源分配
动态专家选择框架根据输入难度调整激活专家数量，而非固定前K路由。评估显示，相比常规前2路由平均改进0.7%，激活参数不到90%，且对复杂推理任务分配更多专家。这验证了动态分配计算资源的能力，并揭示了不同层所需专家数量的差异，为设计异构MoE框架提供洞察。
Q&A
GW-MoE的主要创新点是什么？
GW-MoE提出了一种结合负载均衡与局部性的路由策略，改进了PanGu-Sigma模型，训练时间减少12.68%至22.24%。
LocMoE+如何提高训练效率？
LocMoE+通过量化和自适应路由策略，减少专家处理的令牌数量超过60%，从而提高训练效率。
StableMoE方法解决了什么问题？
StableMoE方法有效解决了现有学习路由中的路由波动问题，提升了计算效率。
GW-MoE在复杂任务中的表现如何？
GW-MoE优化了复杂任务中的资源分配能力，提升了模型性能。
GW-MoE的训练时间相比于传统方法有何变化？
GW-MoE的训练时间减少了12.68%至22.24%，提高了训练效率。
GW-MoE如何处理专家选择的问题？
GW-MoE采用动态专家选择框架，根据输入复杂性调整激活的专家数量，从而提高计算效率。
