BriefGPT - AI 论文速递
·
基于任务的 MoE 多任务多语言机器翻译
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
该论文研究了不同粒度的MoE模型中的路由策略，通过任务级路由在大规模数据集上实验，能够从大型稀疏模型中提取可部署的子网络。实验结果表明，task-MoE在WMT上的表现比token-MoE高1.0 BLEU，且保留了所有收益和推理成本。在扩展到200种语言对时，task-MoE提高了推理吞吐量2.6倍。
🎯
关键要点
- 该论文研究了不同粒度的MoE模型中的路由策略。
- 通过任务级路由（task-MoE）在WMT和Web规模数据集上进行实验。
- 实验表明能够从大型稀疏模型中提取可部署的子网络。
- 对于30种语言对，task-MoE在WMT上的表现比token-MoE高1.0 BLEU。
- task-MoE能够保留所有收益，并且推理成本与蒸馏后的模型相同。
- 扩展到200种语言对时，task-MoE提高了推理吞吐量2.6倍。
➡️
