本研究提出了一种新的竞争机制CompeteSMoE，旨在解决稀疏专家混合模型训练中的路由子优化问题。通过理论分析和实证评估，CompeteSMoE在视觉指令调优和语言预训练任务中表现出较低的训练开销和强大的性能，展现了有效性、鲁棒性和可扩展性。

该文介绍了一种基于不精确贝叶斯连续学习（IBCL）的方法，用于对付任务权衡偏好。IBCL 获得的模型具备辨别 Pareto 最优参数的保证，可以平均提高每个任务的准确率最多23％，峰值每个任务准确率提高最多15％，同时几乎没有或正向传递。IBCL 将训练开销从每个偏好训练1个模型减少到了针对所有偏好最多训练3个模型。