量子位
·
颜水成袁粒提出新一代MoE架构：专家吞吐速度最高提升2.1倍！
💡
原文中文，约3800字，阅读约需9分钟。
📝
内容提要
颜水成和袁粒团队提出了新架构MoE++，通过引入“零计算量专家”提升性能和速度。MoE++允许每个Token使用不同数量的FFN专家，降低计算成本，提高复杂Token处理能力。实验表明，MoE++在相同模型大小下性能优于传统MoE，专家吞吐速度提升1.1到2.1倍。模型权重已开源，展示了不同任务中的专家负载分布差异。
🎯
关键要点
-
MoE++架构由颜水成和袁粒团队提出，性能和速度显著提升。
-
引入“零计算量专家”，降低计算成本，提高复杂Token处理能力。
-
MoE++允许每个Token使用可变数量的FFN专家，甚至可以跳过MoE层。
-
实验结果显示，MoE++在相同模型大小下性能优于传统MoE，专家吞吐速度提升1.1到2.1倍。
-
MoE++引入三种零计算量专家：Zero专家、Copy专家和Constant专家。
-
灵活的计算量分配优化了计算资源，使更多FFN专家专注于复杂Token。
-
稳定的路由设计通过前一层的路由分数提升了专家选择的稳定性。
-
MoE++具有更低的理论计算复杂度，实验结果表明其优于普通MoE。
-
专家负载分布在不同任务中存在显著差异，Zero专家在简单任务中激活次数更高。
-
MoE++模型的权重已开源，展示了不同任务中的专家负载分布差异。
➡️
