利用层间专家亲和性加速混合专家模型推理

该论文研究了不同粒度的MoE模型中的路由策略，通过任务级路由在大规模数据集上实验，能够从大型稀疏模型中提取更小、可部署的子网络。实验结果显示，task-MoE在WMT上的表现比token-MoE高1.0 BLEU，并且推理成本相同。在扩展到200种语言对时，task-MoE提高了推理吞吐量2.6倍。