本文提出自主专家模型（AoE），解决混合专家模型中路由器与专家分离的问题，提升专家选择的有效性和学习效果，实验结果表明其优于传统模型。

本研究提出了MoE$^2$框架，旨在优化边缘大型语言模型的协同推理，解决推理性能挑战。该方法在能量和延迟限制下实现专家选择的最佳权衡，表现优于现有基线。

本文介绍了多种基于专家选择的混合模型（MoE），如HyperMoE、SMoE和MH-MoE，旨在提升机器翻译和语言模型的性能。这些模型通过动态分配专家、优化路由策略和引入自适应门控机制，显著提高了训练效率和准确性，并减少了训练时间。