WDMoE: 无线分布式大规模语言模型与专家混合模型
内容提要
本文提出了一种新颖的负载均衡与局部性相结合的路由策略，改进了PanGu-Sigma模型，训练时间减少12.68%至22.24%。研究发布了一系列开源混合专家语言模型，强调其成本效益，并提出了基于标记ID的改进策略，以提升模型设计和部署效率。
延伸解读
路由策略的优化与影响
文章提出了一种结合负载均衡与局部性的路由策略，通过将部分节点间通信转换为节点内通信，在PanGu-Sigma模型上减少了每轮训练时间12.68%至22.24%，且不影响准确性。这表明优化通信开销是提升MoE训练效率的有效途径，尤其对于分布式训练场景。
开源MoE模型系列与成本效益
研究发布了参数从650M到34B、训练语料超1T标记的开源可复现MoE语言模型。调查确认MoE能提供更有利的成本效益权衡，且训练成本不会像密集Transformer那样呈二次增长。但增加专家数量会导致递减收益，因此建议将推理效率作为缩放定律的指标之一。
路由机制的关键发现与挑战
对OpenMoE模型的分析发现：路由决策主要基于标记ID，与上下文相关性较小；标记对专家的分配在预训练早期确定并基本不变；这种不完美的路由可能导致性能下降，尤其在多轮对话等顺序任务中，较后出现的标记更可能被丢弃。这些发现揭示了当前MoE路由的局限性。
部署效率的改进方向
针对MoE部署，文章介绍了多种技术：EdgeMoE通过策略性分割模型提升边缘设备上的内存和计算效率；插拔式专家级稀疏化技术可减小模型大小并增加推理速度；参数卸载算法使Mixtral-8x7B能在消费级硬件上运行。这些方法共同指向MoE实际部署中的效率优化。
Q&A
WDMoE模型的主要创新点是什么？
WDMoE模型提出了一种新颖的负载均衡与局部性相结合的路由策略，改进了PanGu-Sigma模型，训练时间减少12.68%至22.24%。
混合专家语言模型的参数范围是多少？
混合专家语言模型的参数范围从650M到34B，训练语料超过1T个标记。
EdgeMoE的主要功能是什么？
EdgeMoE是面向边缘设备的推理引擎，通过策略性分割模型提升内存和计算效率。
Mixture of Word Experts (MoWE)方法的优势是什么？
MoWE方法在各种NLP任务中性能明显优于相似FLOPs数量的T5模型，尤其在知识密集型任务上表现更佳。
如何改进混合专家语言模型的设计？
提出了减轻路由问题并改进混合专家语言模型设计的潜在策略，包括任务无关和任务特定的专家修剪和跳过方法。
HyperMoE框架的特点是什么？
HyperMoE框架利用未选择的专家生成的特定模块，显著优于现有MoE方法，保持选择稀疏性的同时利用未选择的专家知识。
