JetMoE：以 0.1M 美元达到 Llama2 性能
内容提要
本文介绍了一系列开源的混合专家语言模型，参数范围从650M到34B，训练语料超过1T标记。研究表明，这些模型在成本效益上优于传统模型，并分析了路由机制的特点。提出的EdgeMoE引擎提升了稀疏LLMs的内存和计算效率，使得在消费者硬件上运行MoE模型成为可能，展示了其在多模态学习中的潜力。
延伸解读
路由机制的关键发现
文章对OpenMoE模型的路由机制进行了深入分析，发现路由决策主要基于标记ID，与上下文相关性较小。标记对专家的分配在预训练早期确定并基本保持不变，这种上下文无关的专业化可能导致性能下降，尤其是在多轮对话等顺序任务中，较后出现的标记更有可能被丢弃。这些发现揭示了当前MoE模型路由的局限性，为未来改进提供了方向。
边缘设备部署的突破
EdgeMoE是面向边缘设备的第一个在设备上推理引擎，针对稀疏LLMs，通过在存储层次结构中策略性分割模型，提升内存和计算效率。它使用两种创新技术降低专家I/O交换开销，实证评估显示，与竞争性基线相比，EdgeMoE在内存节省和性能改进方面具有显著优势。这使得在消费者硬件上运行MoE模型成为可能，例如通过参数卸载算法在免费Google Colab实例上运行Mixtral-8x7B。
专家数量与缩放定律
文章指出，增加专家数量会导致递减收益，因此建议将推理效率作为模型缩放定律的指标之一，以在相同性能下提供最佳解决方案。这一观点挑战了单纯增加专家数量的做法，强调了在模型设计中平衡性能与效率的重要性。此外，通过混合密集与稀疏混合模型（DS-MoE）等策略，可以在保持性能的同时实现强大的计算和参数效率。
多模态学习的进展
文章介绍了针对大型视觉语言模型的MoE-tuning训练策略，通过构建稀疏模型解决多模态学习和模型稀疏性带来的性能退化问题。基于MoE的稀疏LVLM架构MoE-LLaVA在视觉理解方面表现出色，在对象幻象基准测试中超越了LLaVA-1.5-13B，并在各种视觉理解数据集上表现与LLaVA-1.5-7B相媲美。这为未来开发更高效的多模态学习系统提供了 valuable insights。
Q&A
JetMoE模型的参数范围是多少？
JetMoE模型的参数范围从650M到34B。
EdgeMoE引擎的主要功能是什么？
EdgeMoE引擎提升了稀疏LLMs的内存和计算效率，使得在消费者硬件上运行MoE模型成为可能。
混合专家模型的路由机制有什么特点？
混合专家模型中的路由决策主要基于标记ID，与上下文相关性较小。
增加专家数量对模型性能有什么影响？
增加专家数量会导致递减收益，因此建议将推理效率作为模型缩放定律的指标之一。
Mixtral 8x7B模型在基准测试中的表现如何？
Mixtral 8x7B模型在数学、代码生成和多语言基准测试中表现优秀。
MoE-tuning训练策略的目的是什么？
MoE-tuning训练策略旨在有效解决多模态学习和模型稀疏性带来的性能退化问题。
