DeepSeekMoE: 迈向极致专业化的混合专家语言模型
内容提要
本文综述混合专家（MoE）模型研究进展：MoE在相同预算下比密集模型更高效，但泛化表现不同；专家原型法将规模扩至万亿参数；参数高效架构缓解参数膨胀；SE-MoE提升分布式训练吞吐量；DeepSpeed-MoE优化压缩与推理；三维混合并行提高训练效率；稀疏模型可缩减为密集模型；ST-MoE-32B在多任务上领先。
延伸解读
MoE 的效率优势与泛化差异
文章指出，在相同预算下，MoE 模型在预训练等场景中比密集模型更高效，但微调除外。同时，MoE 与密集模型在不同任务和领域上的泛化表现存在差异，这意味着选择模型架构时需权衡效率与泛化能力，而非简单认为 MoE 全面占优。
参数膨胀的应对思路
随着 MoE 规模扩大，参数膨胀成为问题。文章提到参数高效架构通过共享专家层参数矩阵中心张量、用辅助张量增加专家特异性，以张量分解缓解膨胀。此外，还有研究通过逐步删除稀有专家将稀疏 MoE 缩减为密集模型，以提升推理速度并保留性能。
训练与推理的系统优化
文章综述了多项系统级优化：SE-MoE 通过弹性训练、二维预取和融合通信提升分布式异构系统吞吐量，实验显示训练和推断吞吐量分别比 DeepSpeed 提高 33% 和 13%；DeepSpeed-MoE 则通过模型压缩和优化推断系统降低硬件需求；三维混合并行结合张量、专家和数据并行，优化内存与通信。
稀疏模型的能力上限
文章提到 ST-MoE-32B 作为稀疏模型，在扩展至 269B 参数后实现了全面迁移学习，成为首个在各类任务中达到最先进水平的稀疏模型。这表明稀疏 MoE 架构在控制计算成本的同时，具备达到领先性能的潜力，但文章也关注训练不稳定和精确性问题，并提出了设计指南。
Q&A
MoE模型和密集模型在相同预算下哪个更高效？
在相同预算下，除了fine-tuning以外，MoE模型比密集模型更加高效。但两者在任务和领域上的推广效果不同，值得进一步研究。
专家原型法如何将模型规模扩大到万亿参数？
专家原型法通过改善模型质量，将模型规模扩大到1万亿参数，并实现了与TPU相同的加速。
参数高效的混合专家架构如何解决参数膨胀问题？
该架构通过在专家层中共享参数矩阵中心张量的信息，并通过辅助张量增加各个专家的特异性，利用矩阵乘积算子实现受量子多体物理学影响的张量分解，从而解决参数膨胀问题，实验表明具有更好的性能和效率。
SE-MoE在分布式训练中有什么优势？
SE-MoE通过引入Elastic MoE training、2D prefetch和Fusion communication等技术，在分布式异构计算系统上实现高效训练和推理，即使在非均衡任务中也能显著提升吞吐量并减少内存开销。与DeepSpeed相比，训练和推断吞吐量分别提高了33%和13%。
DeepSpeed-MoE如何优化模型压缩和推理？
DeepSpeed-MoE通过新颖的模型压缩技术和高度优化的推断系统，在减小模型尺寸、提高能效和降低硬件资源要求等方面表现显著，旨在开辟更多高质量模型的新方向，减少硬件资源需求，加速模型落地应用。
三维混合并行如何提高MoE模型的训练效率？
三维混合并行算法结合了张量并行、专家并行和数据并行，进行内存和通信优化，极大地提高了MoE模型的训练效率和精度。
如何将稀疏MoE模型缩减为密集模型？
通过逐步删除稀有的expert，将Mixture-of-Experts模型缩减为单一的dense模型，以提高计算效率并提供较快的推理速度，同时保留整体性能。
ST-MoE-32B在哪些方面达到了最先进水平？
ST-MoE-32B通过设计指南将一个稀疏模型扩展到269B参数，实现了全面的迁移学习，成为第一个在各类任务中达到最先进水平的稀疏模型。
