Branch-Train-MiX (BTX)是一种新的混合专家模型架构，旨在提高大型语言模型（LLMs）在多个领域中的性能。它由两个阶段组成：分支训练，其中多个专家模型在不同的数据集上并行训练，以及MiX，其中这些专家模型的前馈参数混合到一个混合专家（MoE）层中。BTX相比其他方法显示出更好的性能和计算效率，使其成为在各个领域训练LLMs的有希望的方法。