量子位
·
颜水成袁粒提出新一代MoE架构：专家吞吐速度最高提升2.1倍！
内容提要
颜水成和袁粒团队提出了新架构MoE++，通过引入“零计算量专家”提升性能和速度。MoE++允许每个Token使用不同数量的FFN专家，降低计算成本，提高复杂Token处理能力。实验表明，MoE++在相同模型大小下性能优于传统MoE，专家吞吐速度提升1.1到2.1倍。模型权重已开源，展示了不同任务中的专家负载分布差异。
关键要点
-
MoE++架构由颜水成和袁粒团队提出，性能和速度显著提升。
-
引入“零计算量专家”，降低计算成本，提高复杂Token处理能力。
-
MoE++允许每个Token使用可变数量的FFN专家，甚至可以跳过MoE层。
-
实验结果显示，MoE++在相同模型大小下性能优于传统MoE，专家吞吐速度提升1.1到2.1倍。
-
MoE++引入三种零计算量专家：Zero专家、Copy专家和Constant专家。
-
灵活的计算量分配优化了计算资源，使更多FFN专家专注于复杂Token。
-
稳定的路由设计通过前一层的路由分数提升了专家选择的稳定性。
-
MoE++具有更低的理论计算复杂度，实验结果表明其优于普通MoE。
-
专家负载分布在不同任务中存在显著差异，Zero专家在简单任务中激活次数更高。
-
MoE++模型的权重已开源，展示了不同任务中的专家负载分布差异。
延伸问答
MoE++架构的主要创新是什么？
MoE++架构的主要创新是引入了“零计算量专家”，允许每个Token使用可变数量的FFN专家，从而降低计算成本并提升性能。
MoE++如何提高专家吞吐速度？
MoE++通过优化计算资源分配，使简单Token使用更少的FFN专家，从而释放更多专家处理复杂Token，实验表明吞吐速度提升1.1到2.1倍。
MoE++中的零计算量专家有哪些类型？
MoE++中的零计算量专家包括Zero专家、Copy专家和Constant专家，分别用于丢弃、跳过和替换输入。
MoE++与传统MoE相比有哪些优势？
MoE++在灵活的计算量分配、稳定的路由设计和更低的计算复杂度方面优于传统MoE，能够更高效地处理不同复杂度的Token。
MoE++模型的权重是否开源？
是的，MoE++模型的权重已经开源，用户可以访问相关链接获取。
MoE++在不同任务中的专家负载分布有什么特点？
MoE++在不同任务中专家负载分布存在显著差异，尤其在浅层和最后一层的分配模式差异更大，且Zero专家在简单任务中激活次数更高。
