BriefGPT - AI 论文速递 · 2024-01-16T00:00:00Z 利用层间专家亲和性加速混合专家模型推理 💡 原文中文，约400字，阅读约需1分钟。 📝 内容提要 该论文研究了不同粒度的MoE模型中的路由策略，通过任务级路由在大规模数据集上实验，能够从大型稀疏模型中提取更小、可部署的子网络。实验结果显示，task-MoE在WMT上的表现比token-MoE高1.0 BLEU，并且推理成本相同。在扩展到200种语言对时，task-MoE提高了推理吞吐量2.6倍。 🏷️ 标签 MoE模型 任务级路由 大规模数据集 推理吞吐量 路由策略 阅读原文 生成长图 分享链接 已复制链接
