学会在专业专家之间进行零 - shot 泛化中的路由
内容提要
该文综述混合专家模型的多项进展：利用专家选择前k个标记提升训练收敛与GLUE性能；自适应门控实现可变专家稀疏高效训练；在PEFT中注入语言结构，用Gumbel-Softmax门控组合适配器并修剪专家，超越先进方法；Poly-S以少量参数获得平均5.3点增益；Gating Dropout降低跨机通信成本；梯度上升后训练增强零样本泛化；ExFlow加速推理；几何引导自监督使小模型达到大模型零样本水平；COSMO概率方法改进广义零样本学习。
延伸解读
专家选择与自适应门控的演进
文章梳理了混合专家模型在专家选择机制上的进展。早期工作让专家选择前k个标记，提升了训练收敛和GLUE性能；后续自适应门控则通过可变专家数量保持稀疏性，在减少训练时间的同时维持推理质量。这些改进共同指向一个趋势：让路由更灵活地匹配输入，而非固定分配，从而在效率与效果间取得更好平衡。
参数高效微调中的语言结构注入
在PEFT场景下，文章介绍了一种将语言结构注入预训练模型的方法。它使用并行适配器模块编码不同语言结构，并通过Gumbel-Softmax门控确定各层模块重要性，再修剪专家以减少参数。实验表明，在参数量相当的情况下，该方法能超越先进PEFT方法。这提示我们，结构化路由可能比单纯增加参数更有效。
零样本泛化的多种增强路径
文章汇总了提升零样本泛化的不同思路：梯度上升后训练让模型在12个NLP任务上媲美2-3倍大模型；几何引导自监督使T5-small（80M）达到T5-XL（3B）的竞争水平，多任务模型mgo-T5（250M）接近OPT（175B）平均性能；COSMO概率方法在四个GZSL基准上通常优于现有模型。这些路径表明，后训练、自监督和概率建模都能显著增强泛化。
推理与通信效率的优化
针对混合专家模型的部署瓶颈，文章提到了两项优化：Gating Dropout降低跨机器通信成本，并在多语言机器翻译中验证有效；ExFlow利用层间专家亲和力减少跨GPU路由延迟，显著提升推理吞吐量。这些工作说明，除了模型质量，路由和通信开销也是影响实际应用的关键因素，值得在系统设计时重点关注。
Q&A
混合专家模型中，如何通过专家选择前k个标记来提升训练收敛和GLUE性能？
提出了一种基于专家选择的异构专家混合模型，通过让专家选择前k个标记来分配变量数量的专家，从而提高了训练收敛速度，并在GLUE基准测试中取得更高的性能。
自适应门控混合专家模型如何实现稀疏度和训练效率的提升？
通过采用可变数量的专家处理令牌，实现了稀疏度的保持和训练效率的提高，大量实验验证了这种方法在减少训练时间的同时，保持推理质量。
在参数高效微调中，如何注入语言结构并组合适配器？
使用一种新颖的语言专家混合体架构，将编码不同语言结构的并行适配器模块进行组合，并使用Gumbel-Softmax门来确定模型每一层中这些模块的重要性。为了减少参数数量，在修剪专家之前，首先对模型进行了固定步骤的训练。
Poly-S方法在参数少量增加的情况下，性能提升如何？
Poly-S方法可以在保持参数少量增加的同时，在三个测试数据集上获得了高达5.3个点的平均收益。
Gating Dropout如何降低跨机器通讯成本？
Gating Dropout方法可以减少深度学习模型的跨机器通讯成本，并在多语言机器翻译任务中验证了其有效性。
梯度上升后训练如何增强零样本泛化能力？
使用梯度上升后训练预训练语言模型可以增强其零样本泛化能力，特别是使用Gradient Ascent Post-training方法可以让语言模型在12个不同的NLP任务上达到与2-3倍大的模型相媲美的水平，并且可以提高LM的泛化能力而无需进行任何特定任务的微调。
ExFlow如何加速混合专家模型的推理？
ExFlow是一种轻量级的优化技术，用于大大加速Mixture of Experts模型的推理过程，并通过利用层间专家亲和力来减少跨GPU路由延迟，取得了显著的推理吞吐量提升效果。
几何引导的自监督学习如何让小模型达到大模型的零样本水平？
通过几何引导的自监督学习方法进行任务感知的自监督数据调整，实现与大型语言模型相当的零样本能力。Go-tuning方法的实验表明T5-small（80M）能够达到T5-XL（3B）的竞争零样本结果，并开发了一个多任务模型mgo-T5（250M），达到九个数据集的OPT（175B）的平均性能。
COSMO概率方法如何改进广义零样本学习？
COSMO是一种基于概率的方法，将分类器分为三个组件：一个门控模型、一个零样本学习专家和一个针对已知类别的专家模型，以实现广义零样本学习（GZSL）。该方法解决了如何为未知类别提供精确的门控概率估计和如何在其领域之外的样本中使用专家预测等问题。测试结果表明，COSMO在四个标准GZSL基准数据集上表现良好，并且通常优于现有GZSL模型。
