分支训练 MiX：将专家 LLMs 混合到一个专家混合 LLM 中
内容提要
本文介绍了针对大型语言模型（LLMs）的新算法和技术，包括Branch-Train-Merge（BTM）算法、Mixture of Tokens模型和稀疏专家混合（SMoE）模型。这些方法显著提高了训练效率和模型性能，尤其在多语言翻译和推理速度方面表现突出。同时，研究分析了混合专家模型的路由机制，并提出了改进策略，以促进未来的发展。
延伸解读
BTM 算法：独立训练专家语言模型
Branch-Train-Merge (BTM) 算法通过将大型语言模型的子部分独立训练在不同数据子集上，形成具有独立专业性的专家语言模型 (ELM)。实验表明，相对于当前 LLMs 的训练方法，BTM 能够获得更好的性能，且相对于训练成本而言更高效。这种方法为高效训练大型语言模型提供了新思路。
Mixtral 8x7B：稀疏专家混合的实践
Mixtral 8x7B 是一种稀疏的专家混合 (SMoE) 语言模型，采用与 Mistral 7B 相同的架构，每层由 8 个前馈块（专家）组成，通过路由网络选择两个专家处理当前状态并组合输出，最终得到使用 13B 活跃参数的 47B 参数模型。在数学、代码生成和多语言基准测试中表现优秀，其指令微调版本在人类基准测试中超过了 GPT-3.5 Turbo、Claude-2.1、Gemini Pro 和 Llama 2 70B - chat model。
路由机制的问题与改进
对 OpenMoE 模型的路由机制进行深入分析，发现三个重要问题：上下文无关专业化（路由决策主要基于标记 ID，与上下文相关性较小）、早期路由学习（标记对专家的分配在预训练早期确定并保持不变）和朝末尾丢弃（不完美的路由可能导致性能下降，尤其在多轮对话等顺序任务中，较后出现的标记更可能被丢弃）。针对这些问题，研究提出了潜在策略以改进现成混合专家语言模型的设计。
部署效率优化：专家修剪与跳过
针对 MoE LLMs 的部署效率，研究提出了插拔式专家级稀疏化技术，包括任务无关和任务特定的专家修剪和跳过方法，可同时减小模型大小、增加推理速度并保持满意性能。此外，还有方法可在保持翻译质量的同时移除多语言机器翻译中不相关的习惯用语，并检测特定语种的专家，以便使用 Sparse Mixture-of-Experts 模型在单个 GPU 上运行。
Q&A
Branch-Train-Merge (BTM)算法的主要优点是什么？
BTM算法通过独立训练语言模型的子部分，提高了训练效率和性能，能够获得更好的性能且训练成本更高效。
Mixture of Tokens模型如何解决Mixture of Experts模型的问题？
Mixture of Tokens模型避免了Mixture of Experts模型的困难，同时保留其优点，使模型能够从所有标记-专家组合中学习。
Mixtral 8x7B模型在基准测试中的表现如何？
Mixtral 8x7B模型在数学、代码生成和多语言基准测试中表现优秀，超越了多个现有模型。
稀疏专家混合（SMoE）模型的主要改进是什么？
SMoE模型通过插拔式专家级稀疏化技术，提高了MoE LLMs的部署效率，减小模型大小并增加推理速度。
新提出的路由策略有什么优势？
新路由策略结合了负载均衡和局部性，减少了每轮训练时间约12.68%至22.24%，而不影响模型的准确性。
Lifelong-MoE方法的特点是什么？
Lifelong-MoE方法具有更好的few-shot性能，能够适应不同的下游任务，提升大规模语料的预训练效果。
