一位专家价值一令牌：通过专家令牌路由将多个专家 LLMs 协同为通才
内容提要
本文提出了一种全可微分的模型Mixture of Tokens，旨在提升大型语言模型在多个专业领域的性能。该模型通过混合不同示例的标记，克服了Mixture of Experts模型的局限性。同时，研究介绍了Branch-Train-MiX方法，优化了专家训练过程，并在GLUE基准测试中取得了更高的性能。此外，提出了用于微调和评估大型语言模型的多方面方法论，以平衡一般语言能力和领域特定技能。
延伸解读
从专家混合到令牌混合：路由机制的演进
文章指出，Mixture of Tokens 通过混合不同示例的标记，克服了传统 Mixture of Experts 模型的困难。传统 MoE 通常按示例或序列路由，而令牌级混合让模型从所有标记-专家组合中学习，可能提升泛化能力。同时，Branch-Train-MiX 将专家前馈参数作为 MoE 层，并微调路由，在准确性和效率间取得平衡。这些方法共同推动了更灵活、可微的专家路由设计。
训练效率与收敛速度的优化策略
文章提到，基于专家选择的异构专家混合模型通过让专家选择前 k 个标记，分配变量数量的专家，从而提高了训练收敛速度，并在 GLUE 基准上取得更高性能。此外，Branch-Train-MiX 采用尴尬并行训练专家，减少通信成本，再通过 MoE 微调学习路由。这些策略表明，动态专家分配和异步训练有助于在保持性能的同时降低计算开销。
路由设计的实证发现与启示
文章引用研究指出，学习路由与冻结、随机初始化的路由性能相当，暗示学习路由可能并非必需。同时，序列级路由可能导致主题专家专业化不足，而令牌级路由则观察到句法专业化。这些发现提示，路由策略的选择需权衡专业化与泛化，且简单的路由方案可能已足够有效，为后续模型设计提供了重要参考。
平衡通用能力与领域技能的评估框架
文章介绍了一种用于微调和评估大型语言模型的多方面方法论，旨在平衡一般语言能力和领域特定技能。该方法包括在微调中混合领域内和通用数据、设计包含 45 个问题的评估框架，以及分析模型大小和持续训练的影响。这为企业和研究人员提供了行动洞察，以高效地将 LLMs 适配到专门环境，并促进评估透明度。
Q&A
Mixture of Tokens模型的主要优势是什么？
Mixture of Tokens模型通过混合不同示例的标记，克服了Mixture of Experts模型的局限性，同时保留了其优点，能够从所有标记中学习。
Branch-Train-MiX方法如何优化专家训练过程？
Branch-Train-MiX方法通过高吞吐量和减少通信成本的并行训练专家，优化了专家的训练过程。
如何评估大型语言模型的性能？
评估大型语言模型的性能可以通过设计全面的评估框架，包含45个问题，评估功能相关维度如可靠性和一致性。
Mixture of Tokens模型在GLUE基准测试中的表现如何？
Mixture of Tokens模型在GLUE基准测试中取得了更高的性能，显示出其在多个专业领域的能力。
该研究提出了哪些方法来平衡一般语言能力和领域特定技能？
研究提出在微调过程中混合领域内和通用数据，并设计全面的评估框架，以实现一般能力和专业能力之间的最佳平衡。
专家选择的异构专家混合模型有什么优势？
专家选择的异构专家混合模型通过选择前k个标记来分配专家，提高了训练收敛速度。
