香草变形器是传输能力教师
内容提要
该文综述混合专家（MoE）模型研究进展，涵盖ST-MoE-32B稀疏模型实现全面迁移学习、分层SMoE提升机器翻译、令牌/句子/任务级路由策略（task-MoE可蒸馏高效子网络），以及RMoE、MoEBERT、MoDE、HyperMoE等通过蒸馏、超网络、软路由提升训练效率与性能，并支持多语言大规模训练。
延伸解读
路由粒度如何影响MoE效率
文章对比了令牌、句子和任务级路由策略。任务级路由（task-MoE）在WMT上比令牌级MoE平均高1.0 BLEU，且能保留全部BLEU收益，而蒸馏到密集模型仅保留32%。扩展到200种语言对时，128专家的task-MoE推理吞吐量提升2.6倍。这表明路由粒度选择直接关系到模型性能与部署效率的平衡。
蒸馏与超网络：提升MoE训练效率的路径
文章介绍了多种提升MoE训练效率的方法：MoEBERT使用层级蒸馏训练高效预训练模型，并发现基于MiniLMv2的多头注意力转移是更优方法；MoDE通过专家间适度相互蒸馏提升整体性能；HyperMoE利用未选择专家的信息，在保持稀疏性的同时利用其知识。这些方法从不同角度缓解了MoE训练成本高的问题。
稀疏模型的大规模迁移学习实践
ST-MoE-32B将稀疏模型扩展到269B参数，成为首个在各类任务中达到最先进水平的稀疏模型，实现了全面迁移学习。此外，结合多维并行和DeepSpeed库的系统成功训练出高效多语言生成模型，提升了样本效率和推断时间效率。这些工作展示了稀疏模型在大规模多语言场景下的可行性。
Q&A
ST-MoE-32B是什么？它有什么特点？
ST-MoE-32B是一个稀疏模型，通过设计指南将稀疏模型扩展到269B参数，实现了全面的迁移学习，成为第一个在各类任务中达到最先进水平的稀疏模型。
SMoE模型在机器翻译中有什么优势？
SMoE（分层专家混合）模型具有分层结构，可以为不同令牌分配动态容量，从而提高机器翻译性能并减少参数不足问题。它在两个多语言机器翻译基准测试上表现出色，优于多个最先进的MoE模型。
任务级路由（task-MoE）相比令牌级路由有什么优势？
任务级路由（task-MoE）可以从大型稀疏模型中提取更小、可部署的子网络，并保留所有BLEU收益，而将token-MoE蒸馏成较小密集模型只能保留32%的BLEU收益。对于30种语言对，32个专家的task-MoE在WMT上平均比最佳token-MoE高1.0 BLEU。当扩展到200种语言对时，128个专家的task-MoE表现与令牌级模型相近，并提高推理吞吐量2.6倍。
RMoE是什么？它如何提高训练效率？
RMoE是一种训练pipeline，用于在下游视觉任务中高效地训练MoE视觉transformer。其核心思想是通过因式分解将MoE的权重分解成独立于输入的核和依赖于输入的残差两部分，从而实现了极高的训练效率。
MoDE方法是什么？它为什么有效？
MoDE（Mixture-of-Distilled-Expert）是一种通过在专家之间应用适度的相互蒸馏，使每个专家能够掌握其他专家学习到的更多特征，从而对其原始分配的子任务有更准确认识的方法。实验证明，适度的知识蒸馏可以提高每个单独专家在其所分配任务上的测试性能，从而提升MoE的整体性能。
HyperMoE框架有什么创新点？
HyperMoE是一种基于Hypernetworks的新型MoE框架，通过利用未选择的专家生成的特定模块作为补充信息，实现在保持选择稀疏性的同时利用未选择的专家的知识，从而在相同条件下显著优于现有MoE方法。
