本文提出了一种全可微分的模型Mixture of Tokens，旨在提升大型语言模型在多个专业领域的性能。该模型通过混合不同示例的标记，克服了Mixture of Experts模型的局限性。同时，研究介绍了Branch-Train-MiX方法，优化了专家训练过程，并在GLUE基准测试中取得了更高的性能。此外，提出了用于微调和评估大型语言模型的多方面方法论，以平衡一般语言能力和领域特定技能。