LocMoE：一种用于大型语言模型训练的低开销 MoE
内容提要
本文综述了MoE模型的优化研究，涉及路由波动、过拟合、负载均衡、训练效率和边缘部署等问题，并介绍了StableMoE、拓扑感知路由、动态门控、专家缓存、SpeechMoE、EdgeMoE和SE-MoE等方法，这些方法在语言模型、机器翻译和语音识别任务中提升了性能与效率。
延伸解读
MoE 训练中的路由波动与稳定化
文章指出，学习路由的 MoE 方法存在路由波动问题，即路由决策在训练中不稳定。StableMoE 通过两阶段方法解决该问题，并在语言模型和多语言机器翻译任务上验证了有效性。这表明路由稳定性是影响 MoE 训练效果的关键因素之一，稳定路由有助于提升模型性能。
低资源场景下的过拟合与正则化
针对低资源任务，MoE 模型容易过拟合。文章提到通过引入 dropout、条件化 MoE 路由和课程学习等正则化策略，成功提高了低资源任务下的性能，并在大规模多语种机器翻译基准上取得显著改进。这提示在数据有限时，需要专门的正则化手段来发挥 MoE 的潜力。
部署优化：动态门控与专家缓存
为了提升 MoE 的部署效率，文章介绍了动态门控、专家缓存和专家负载均衡三种技术。动态门控可提升性能并减少 GPU 内存使用，专家缓存通过只缓存热门专家来降低静态内存分配。这些技术有助于 MoE 模型在实际应用中更易部署，并提高推理效率。
边缘与异构系统上的 MoE 推理
EdgeMoE 是面向边缘设备的首个在设备上推理引擎，通过策略性分割模型和降低专家 I/O 交换开销，实现内存和计算效率的提升。SE-MoE 则针对分布式异构系统，通过弹性训练、二维预取和融合通信等技术，在非均衡任务中提升吞吐量并减少内存开销。这些工作表明 MoE 正逐步适应资源受限和异构环境。
Q&A
StableMoE 是如何解决 MoE 路由波动问题的？
StableMoE 采用两阶段方法来解决学习路由 MoE 中的路由波动问题，并在语言模型和多语言机器翻译任务上验证了其有效性。
有哪些技术可以优化 MoE 模型的训练效率？
动态门控、专家缓存和专家负载均衡是三种优化技术。动态门控可提升性能多达 5 倍并减少 GPU 内存使用；专家缓存通过只缓存热门专家减少高达 1.47 倍的静态内存分配。
SpeechMoE 在语音识别中有什么改进？
SpeechMoE 引入稀疏 L1 损失和平均重要性损失来控制路由器激活的稀疏性和提高门值多样性，并使用新路由器架构。在计算成本可比的情况下，相比传统静态网络，相对 CER 改进了 7.0%-23.0%。
EdgeMoE 如何提升边缘设备上 MoE 模型的推理效率？
EdgeMoE 是面向边缘设备的第一个在设备上推理引擎，针对稀疏 LLMs，通过在存储层次结构中策略性地分割模型，并使用两种创新技术降低专家 I/O 交换开销，从而提升内存和计算效率。
SE-MoE 在分布式异构系统上的训练和推理性能如何？
SE-MoE 通过 Elastic MoE training、2D prefetch 和 Fusion communication 等技术，实现高效训练和推理。与 DeepSpeed 相比，训练和推断吞吐量分别提高了 33% 和 13%。
如何在消费级硬件上运行 Mixtral-8x7B 这样的 MoE 语言模型？
通过参数卸载算法和利用 MoE LLMs 的固有属性，提出一种新策略，使消费者硬件和免费 Google Colab 实例上能够运行 Mixtral-8x7B 型号的 MoE 语言模型。
