该文综述混合专家模型的多项进展：利用专家选择前k个标记提升训练收敛与GLUE性能；自适应门控实现可变专家稀疏高效训练；在PEFT中注入语言结构，用Gumbel-Softmax门控组合适配器并修剪专家，超越先进方法；Poly-S以少量参数获得平均5.3点增益；Gating Dropout降低跨机通信成本；梯度上升后训练增强零样本泛化；ExFlow加速推理；几何引导自监督使小模型达到大模型零样本水平；COSMO概率方法改进广义零样本学习。

该文综述混合专家（MoE）模型的理论与改进，分析softmax门控与专家函数相互作用导致参数估计速率变慢的问题，提出修改门控、Voronoi损失等方法提升收敛性，并介绍稀疏门控、分层MoE、自适应门控、专家集群等模型，在机器翻译和语言建模中提升性能与效率。