不是所有专家都是平等的：用于混合专家大型语言模型的高效专家修剪和跳过
内容提要
该文综述混合专家（MoE）语言模型研究，涵盖将MoE压缩为稠密模型、参数卸载运行Mixtral-8x7B、提出MEO降低计算成本、EdgeMoE实现边缘高效推理、发布650M至34B开源MoE模型，并发现路由主要依赖标记ID、早期确定且末尾易丢弃。
延伸解读
MoE 压缩与部署的实用路径
文章介绍了多种降低 MoE 模型计算成本的方法：逐步删除稀有专家将 MoE 缩减为稠密模型，以提升推理速度并保留性能；参数卸载算法使 Mixtral-8x7B 能在消费级硬件和免费 Colab 上运行；MEO 通过合并专家降低计算成本；EdgeMoE 则针对边缘设备优化内存和计算效率。这些工作表明，MoE 的高效部署正从算法压缩和硬件适配两个方向推进。
路由机制的关键发现与影响
对 OpenMoE 模型的路由分析得出三个重要发现：路由决策主要基于标记 ID，与上下文相关性较小；专家分配在预训练早期确定并基本不变；在多轮对话等顺序任务中，较后出现的标记更可能被丢弃。这些发现揭示了当前 MoE 路由的局限性，即上下文无关专业化和早期路由学习可能导致性能下降，尤其是在需要长程依赖的任务中。
开源 MoE 模型与成本效益
研究者训练并发布了一系列完全开源、可复现的仅解码器 MoE 语言模型，参数范围从 650M 到 34B，训练语料超过 1T 标记。调查确认 MoE 模型能提供更有利的成本效益权衡，突显了未来大语言模型发展的潜在有效性。这为开源社区提供了可用的 MoE 基线和研究基础，有助于推动 MoE 架构的进一步探索。
MoE 架构的多样性与性能权衡
文章还涵盖了其他 MoE 研究：参数高效的 MoE 架构通过共享参数矩阵中心张量并利用辅助张量增加专家特异性，以解决参数膨胀问题；在严格参数约束下，将 MoE 与轻量级专家结合可提供稳健性能；自回归 MoE 语言模型在相同预算下比密集模型更高效，但泛化效果因任务和领域而异。这些工作展示了 MoE 在效率与性能之间的多种权衡策略。
Q&A
如何将混合专家模型压缩为稠密模型以提高推理速度？
通过逐步删除稀有的专家，将Mixture-of-Experts模型缩减为单一的稠密模型，从而提高计算效率并提供较快的推理速度，同时保留整体性能。
在消费级硬件上运行Mixtral-8x7B有什么方法？
通过参数卸载算法和利用MoE LLMs的固有属性，可以在消费者硬件和免费Google Colab实例上运行Mixtral-8x7B型号的MoE语言模型。
MEO方法是如何降低混合专家模型的计算成本的？
MEO（Merging Experts into One）通过将专家合并为一个，提出一种计算较为高效的方法来降低计算成本，实验证明其优越性并能进一步提高效率和性能。
EdgeMoE是什么？它如何提升边缘设备上的推理效率？
EdgeMoE是面向边缘设备的第一个在设备上推理引擎，针对稀疏LLMs，通过在存储层次结构中策略性地分割模型，并使用两种创新技术降低专家I/O交换开销，实现内存和计算效率的提升。
OpenMoE模型的路由机制有哪些重要发现？
研究发现三个重要发现：上下文无关专业化、早期路由学习和朝末尾丢弃。路由决策主要基于标记ID，与上下文相关性较小；标记对专家的分配在预训练早期确定并基本保持不变；这种不完美的路由可能导致性能下降，尤其是在多轮对话等顺序任务中，较后出现的标记更可能被丢弃。
混合专家模型与稠密模型在效率和泛化性上有何比较？
在相同预算下，除了fine-tuning以外，MoE模型比密集模型更加高效。但MoE和密集模型在任务和领域上的推广效果不同，值得进一步研究。
