大型语言模型中混合专家的更深入研究
内容提要
本文研究了混合专家（MoE）语言模型的效率，发现其在相同预算下优于密集模型。通过分析路由机制，提出了改进策略以解决性能下降问题，并展示了MoE架构在多语言生成中的高效性和潜力。
延伸解读
MoE 路由机制的关键发现
文章指出，MoE 模型的路由决策主要基于标记 ID，与上下文相关性较小，且标记对专家的分配在预训练早期确定并基本不变。这种上下文无关的专业化可能导致性能下降，尤其在多轮对话等顺序任务中，较后出现的标记更易被丢弃。这些发现揭示了当前 MoE 路由的局限性，为改进设计提供了方向。
负载均衡与局部性结合的路由策略
针对路由问题，文章提出了一种新颖的负载均衡和局部性相结合的路由策略，通过将部分节点间通信转换为节点内通信。在 PanGu-Sigma 模型上的实验表明，该策略减少了每轮训练时间约 12.68% 至 22.24%，且不影响模型准确性。这为提升 MoE 训练效率提供了实用方案。
专家数量增加的递减收益与推理效率
文章发现，增加专家数量会导致递减收益，因此建议将推理效率作为模型缩放定律的指标之一，以在相同性能下提供最佳解决方案。这一观点挑战了单纯增加专家数量的做法，强调了在缩放 MoE 模型时需权衡推理效率，对未来模型设计具有指导意义。
Q&A
混合专家模型（MoE）与密集模型相比有什么优势？
混合专家模型在相同预算下比密集模型更加高效，能够提供更有利的成本效益权衡。
MoE模型的路由机制是如何工作的？
MoE模型的路由决策主要基于标记ID，与上下文相关性较小，且在预训练阶段早期确定。
如何改进MoE模型的性能？
提出了一种新颖的负载均衡和局部性相结合的路由策略，减少了每轮训练时间而不影响模型准确性。
增加专家数量对MoE模型有什么影响？
增加专家数量会导致递减收益，因此建议将推理效率作为模型缩放定律的指标之一。
MoE架构在多语言生成中的表现如何？
MoE架构在严格的参数约束下仍能提供稳健的性能，展示了其在多语言生成中的高效性和潜力。
新提出的MoE架构如何解决参数膨胀问题？
通过在专家层中共享参数矩阵中心张量的信息，采用辅助张量增加各个专家的特异性，从而解决参数膨胀问题。
