评估MoE LLM在测验任务中的专家贡献

💡 原文中文,约200字,阅读约需1分钟。
📝

内容提要

本研究评估了大型语言模型中的混合专家层,发现大多数专家在推理时未被激活,且门控网络的输出分布接近均匀,揭示了同层专家性能差异的重要性。

🏷️

标签

➡️

继续阅读