BriefGPT - AI 论文速递 · 2025-05-11T00:00:00Z

The Power of Fine-Grained Experts: Granularity Enhances the Expressive Capability of Mixture of Experts

📝

内容提要

本研究探讨了混合专家（MoE）层在深度学习中的表达能力，提出增加活跃专家数量能够显著提升模型性能，实验结果验证了这一理论。

🏷️

标签

模型性能 活跃专家 深度学习 混合专家 表达能力