Lory: 全可微的自回归语言模型预训练中的专家混合
内容提要
本文介绍了一种基于混合专家（MoE）的语音识别模型SpeechMoE，采用稀疏L1损失和平均重要性损失优化路由器激活。实验表明，该模型在计算成本相当的情况下，CER提高了7.0%-23.0%。研究还探讨了MoE模型在不同任务中的效率，提出了新的路由策略以减少训练时间，并发布了多种开源MoE语言模型，强调其成本效益和未来发展潜力。
延伸解读
MoE在语音识别中的效率提升
文章指出，SpeechMoE通过稀疏L1损失和平均重要性损失优化路由器激活，在计算成本相当的情况下，相比传统静态网络，字符错误率（CER）相对改进了7.0%至23.0%。这表明MoE架构能有效提升语音识别性能，同时保持计算效率。
路由策略对训练效率的影响
文章提到一种结合负载均衡和局部性的新路由策略，在PanGu-Sigma模型上减少了每轮训练时间约12.68%至22.24%，且不影响准确性。这显示优化路由可以显著降低训练开销，对大规模MoE模型的训练有实际意义。
开源MoE语言模型与路由分析
文章介绍了参数从650M到34B的开源MoE语言模型，训练语料超过1T标记，并分析了路由机制，发现路由决策主要基于标记ID，与上下文相关性较小，且早期确定后基本不变。这揭示了MoE模型可能存在的上下文无关专业化问题，尤其在多轮对话中可能影响性能。
MoE模型的资源优化与扩展
文章提及MixLoRA方法，能在消费级GPU上并行微调多个专家模型，减少GPU内存消耗41%和训练延迟17%。此外，StableMoE方法解决了路由波动问题。这些进展表明MoE在资源受限环境下仍具潜力，并推动了其实际应用。
Q&A
SpeechMoE模型的主要创新点是什么？
SpeechMoE模型引入了稀疏L1损失和平均重要性损失来优化路由器激活，并采用新的路由器架构。
SpeechMoE模型在CER方面的表现如何？
实验表明，SpeechMoE在计算成本相当的情况下，CER提高了7.0%-23.0%。
MoE模型相比于密集模型的优势是什么？
MoE模型在相同预算下比密集模型更加高效，尤其是在不同任务中的表现。
新提出的路由策略有什么特点？
新路由策略结合了负载均衡和局部性，减少了每轮训练时间约12.68%至22.24%。
开源的MoE语言模型有哪些特点？
开源的MoE语言模型参数范围从650M到34B，训练语料超过1T个标记，强调成本效益。
StableMoE方法解决了什么问题？
StableMoE方法解决了现有学习路由方法中的路由波动问题，并验证了其有效性。
