未选择的专家也能贡献：通过自对比释放 MoE 模型的力量
内容提要
本文介绍了多种基于专家选择的混合模型（MoE），如HyperMoE、SMoE和MH-MoE，旨在提升机器翻译和语言模型的性能。这些模型通过动态分配专家、优化路由策略和引入自适应门控机制，显著提高了训练效率和准确性，并减少了训练时间。
延伸解读
未选专家如何被重新利用
HyperMoE 的核心思路是利用未选择的专家生成特定模块，作为补充信息注入到已选专家的计算中。这样既保持了路由的稀疏性，又让被路由策略忽略的专家知识得以参与前向过程。对于关注 MoE 效率与效果平衡的读者，这一设计提示：稀疏激活不必然意味着信息浪费，未选专家可以成为额外的知识来源。
路由策略的工程收益
文章提到一种将部分节点间通信转为节点内通信的路由策略，并在 PanGu-Sigma 模型上验证。实验显示每轮训练时间减少约 12.68% 至 22.24%，且不影响模型准确性。这说明在分布式训练场景下，通信开销是 MoE 效率的重要瓶颈，通过负载均衡与局部性结合的路由设计，可以在不牺牲精度的前提下获得可观的训练加速。
多头机制与过拟合缓解
MH-MoE 将每个令牌拆分为多个子令牌，并行分配给不同的专家集处理，再重新集成回原始令牌形式。这种多头机制增强了训练中的专家激活，深化了上下文理解，并有助于减轻过拟合。文章指出该方法易于实施，且能与其他 SMoE 模型集成，在英语、多语言及多模态任务上均进行了实验验证。
训练稳定性与效率的权衡
StableMoE 针对学习路由中的波动问题提出两阶段方法，并在语言模型和多语言机器翻译上验证有效性。同时，基于单门 MoE 的异步训练方法通过聚类初始化等技术，实现了高效率与高准确率的权衡。这些工作表明，MoE 的实用化不仅依赖路由创新，还需要关注训练过程的稳定性和异步策略的工程可行性。
Q&A
什么是HyperMoE模型，它的优势是什么？
HyperMoE是一种基于Hypernetworks的Mixture of Experts框架，通过利用未选择的专家生成的特定模块来增强模型性能，显著优于现有的MoE方法。
分层专家混合（SMoE）模型的结构特点是什么？
SMoE模型具有分层结构，可以为不同令牌动态分配容量，从而提高机器翻译性能并减少参数不足问题。
多头专家混合模型(MH-MoE)是如何增强上下文理解的？
MH-MoE通过将每个令牌拆分为多个子令牌并并行分配给多样的专家集，增强了专家激活和上下文理解，减轻了过拟合。
StableMoE方法解决了什么问题？
StableMoE方法解决了现有学习路由MoE方法中的路由波动问题，并在语言模型和多语言机器翻译上验证了其有效性。
自适应门控混合专家模型的优势是什么？
自适应门控混合专家模型通过采用可变数量的专家处理令牌，提高了训练效率，同时保持了推理质量。
Mixture of Tokens模型的创新之处是什么？
Mixture of Tokens模型通过在专家之前混合来自不同示例的标记，避免了Mixture of Experts模型的困难，同时保留了其优点，兼容大型语言模型的训练和推理。
