砰！就这样：混合专家的简单高效参数再利用
内容提要
本文探讨了混合专家（MoE）模型在多语言生成中的应用，提出了任务级路由和专家修剪技术，以提高推理效率和性能。研究表明，MoE模型在扩展时优于密集Transformer，并通过优化专家数量和结构降低计算成本。最终提出的Skywork-MoE模型在多项基准测试中表现出色。
延伸解读
任务级路由的优势
文章指出，任务级路由（task-MoE）在多语言生成任务中表现优于令牌级路由（token-MoE）。在30种语言对的WMT测试中，32专家的task-MoE（533M参数）平均比最佳token-MoE高1.0 BLEU。此外，task-MoE能保留所有BLEU收益，而蒸馏方法仅保留32%。这表明任务级路由能更有效地利用专家，提升多语言生成质量。
专家修剪与推理效率
针对MoE模型部署时内存消耗大的问题，文章提出了专家修剪和跳过方法。通过识别并移除冗余专家，可以减小模型大小并提高推理速度，同时保持性能。实验在Mixtral-8x7B和Mixtral-8x22B上验证了有效性，修剪后的模型在多项自然语言任务上优于其他修剪方法。这为MoE模型的实际部署提供了实用方案。
Skywork-MoE的创新技术
Skywork-MoE是一个1460亿参数、16专家的MoE大模型，从Skywork-13B密集检查点初始化。它引入了门控逻辑归一化以改善专家多样化，以及自适应辅助损失系数以调整每层。这些技术提升了模型性能，在广泛基准测试中表现强大。文章还探讨了再利用与从头训练初始化的选择，需考虑现有检查点性能和训练预算。
扩展规律与专家大小设置
文章建立了细粒度MoE的扩展规律，表明MoE模型在规模和训练预算扩大时始终优于密集Transformer。同时，研究证明将专家大小设置为与前馈层相似并非最优，这挑战了常见做法。这些发现为针对特定计算预算推导最佳训练配置提供了指导，有助于更高效地设计MoE模型。
Q&A
混合专家模型（MoE）在多语言生成中的优势是什么？
混合专家模型通过仅激活部分参数，显著提高了模型的样本效率和推断时间效率，优于密集Transformer模型。
Skywork-MoE模型的特点是什么？
Skywork-MoE模型具有1460亿参数和16个专家，采用门控逻辑归一化和自适应辅助损失系数等创新技术，表现出强大的性能。
任务级路由与令牌级路由的比较结果如何？
任务级路由的task-MoE模型在多语言对上表现优于令牌级MoE模型，并能够保留所有BLEU收益。
如何提高MoE模型的推理速度？
通过引入专家修剪和跳过方法，减小模型大小并提高推理速度，同时保持满意的性能。
LLaMA-MoE模型的训练效果如何？
LLaMA-MoE模型在训练200B标记后，显示出显著的性能优势，保持了语言能力并有效路由输入标记。
混合专家架构在实际应用中面临哪些挑战？
混合专家架构由于专家数量增加导致的内存消耗，构成了在实际应用中的部署挑战。
