重新思考 LLM 语言适应：以中文 Mixtral 为案例研究
内容提要
Mixtral 8x7B是一种稀疏专家混合语言模型，每层有8个专家，路由选择2个，总参数47B但仅激活13B，在数学、代码和多语言任务上表现优异，其指令版超越GPT-3.5 Turbo。相关研究构建了中文Aurora模型，验证指令微调能提升中文对话能力，并探索跨语言迁移、繁体中文LLM及多语言指令调优。
延伸解读
稀疏专家混合的架构特点
Mixtral 8x7B采用稀疏专家混合（SMoE）架构，每层有8个前馈块作为专家，路由网络每次选择2个专家处理当前状态并组合输出。这种设计使得模型总参数达47B，但实际激活参数仅13B，在保持较大模型容量的同时，计算开销更接近小模型。文章指出该模型在数学、代码生成和多语言基准测试中表现优秀，其指令版在人类基准测试中超过了GPT-3.5 Turbo等模型。
中文适应的实证探索
文章介绍了构建中文Aurora模型的工作，该模型基于Mixtral-8x7B，通过对三个中文指令数据集进行系统研究、预处理和整合，并实施指令微调，验证了其在中文对话能力上的有效性。这项工作在稀疏专家组合模型的指令微调方面具有开创性意义，表明指令微调是提升中文对话能力的有效途径，为后续中文LLM的定制提供了参考。
跨语言迁移与多语言调优
文章提及多项跨语言研究：跨语言模型在训练时使用英语和高质量单语NLI数据（OCNLI）通常表现最好，而自动翻译资源可能影响性能；跨语言词汇适应可大幅提升推理速度高达271.5%，适应更平衡的多语种数据可使下游性能接近原始模型；使用平行指令调整数据集相比单语数据集能提高跨语言指令遵循能力，且大规模指令调整数据集对多语言7B参数模型至关重要。
繁体中文与多语言评估
文章提到台湾LLM是第一个专门为繁体中文设计的大型语言模型，能够理解并产生传统中文文本，并在文化语境上与用户群体达到共鸣。此外，对五种生成式大型语言模型的实证研究探讨了跨语言词汇适应方法对提高推理效率的有效性。多语言指令调整的广泛研究还进行了人工注释研究，以理解多语言聊天场景中基于人类和GPT-4的评价之间的对齐情况。
Q&A
Mixtral 8x7B 的模型架构和参数效率如何？
Mixtral 8x7B 是一种稀疏专家混合（SMoE）语言模型，采用与 Mistral 7B 相同的架构，每层有 8 个前馈块（专家），路由网络选择 2 个专家处理当前状态并组合输出。总参数 47B，但仅激活 13B 参数，在数学、代码生成和多语言基准测试中表现优秀。
Mixtral 8x7B 在哪些任务上表现优异？与 GPT-3.5 Turbo 相比如何？
Mixtral 8x7B 在数学、代码生成和多语言基准测试中表现优秀。其指令微调版本 Mixtral 8x7B - Instruct 在人类基准测试中超过了 GPT-3.5 Turbo、Claude-2.1、Gemini Pro 和 Llama 2 70B - chat model。
Aurora 模型是什么？它在中文对话能力上有何验证结果？
Aurora 是基于 Mixtral-8x7B 稀疏专家组合模型构建的中文模型，通过对三个中文指令数据集进行系统研究、预处理和整合，并利用这些数据集进行指令微调。验证了 Aurora 模型在中文对话能力上的有效性，这一工作在稀疏专家组合模型的指令微调方面具有开创性意义。
跨语言迁移在自然语言推断任务中表现如何？
研究多语言 transformers 在英文和中文自然语言推断方面的跨语言转移能力，基于 17 个中文挑战任务测试。发现跨语言模型在训练时使用英语和高质量的单语 NLI 数据（OCNLI）通常表现最好，而自动翻译资源则会影响其性能。
台湾 LLM 有什么特点？
台灣 LLM 是第一個專門為繁體中文設計的大型語言模型，能夠理解並產生傳統中文文本，並在文化語境上與用戶群體達到共鳴。
跨语言词汇适应对模型推理效率有何影响？
对五种生成式大型语言模型进行实证研究，探讨跨语言词汇适应方法对提高模型推理效率的有效性，发现跨语言词汇适应可大幅提升模型推理速度高达 271.5%，同时适应更平衡的多语种数据可以使下游性能接近原始模型。
多语言指令调整中，平行数据集与单语数据集相比有何优势？
通过对多种印欧语言中的大规模语言模型进行多语言指令调整数据集上的广泛研究，发现使用平行指令调整数据集相比单语数据集能提高跨语言指令遵循能力，还发现大规模指令调整数据集对于多语言 7B 参数模型至关重要，并进行人工注释研究以理解多语言聊天场景中基于人类和 GPT-4 的评价之间的对齐情况。
