超越以英语为中心的大型语言模型：多语言模型用什么语言思考？
内容提要
本文探讨了英语中心模型的多语言迁移能力，发现其在某些任务中优于多语言预训练模型。研究表明，低资源语言的社区中心模型在区分同一语言家族的语言方面表现更佳。同时，分析大型语言模型的激活模式和层次结构对其多语言处理能力有重要影响，并提出了未来研究方向和改进方法。
延伸解读
英语中心模型的多语言迁移优势
文章指出，英语中心模型不仅具备多语言迁移能力，在某些任务上甚至优于多语言预训练模型。这意味着，即使训练数据以英语为主，模型也能将知识迁移到其他语言，且效果可能更好。但迁移效果因任务类型而异，生成式任务与结构化任务的表现不同，读者需注意任务差异对模型选择的影响。
社区中心模型对低资源语言的价值
针对低资源语言，由语言使用者构建、聚焦特定语言家族或地理位置的社区中心模型，在区分同一语言家族的语言方面表现更佳。这提示我们，通用大模型未必适合所有语言场景，社区驱动的模型在语言细粒度区分上可能更具优势，尤其对低资源语言社区而言，本地化模型值得关注。
概念空间偏向英语的潜在影响
研究发现，多语言模型在处理过程中存在输入、概念、输出三个空间，而抽象的概念空间更接近英语而非其他语言。这可能影响模型对非英语语言的理解和生成，并导致语言偏见。读者应意识到，模型的多语言能力背后可能存在英语中心的认知偏差，在跨语言应用中需谨慎评估。
专家混合架构揭示语言处理机制
通过将大语言模型转换为专家混合架构，研究者发现了非语言特定神经元和语言特定激活神经元。仅利用高频激活神经元即可在保持性能的同时加速推理。这为多语言训练和模型修剪提供了新思路，也说明模型内部存在语言相关的专门化处理，未来可据此优化多语言模型效率。
Q&A
英语中心模型在多语言迁移能力上表现如何？
研究发现英语中心模型在某些任务中优于多语言预训练模型。
低资源语言的社区中心模型有什么优势？
低资源语言的社区中心模型在区分同一语言家族的语言方面表现更佳。
大型语言模型的激活模式对多语言处理能力有什么影响？
大型语言模型的激活模式和层次结构对其多语言处理能力有重要影响。
如何提高模型在生成式任务上的跨语言转移能力？
只使用三种语言进行多语种微调可以显著提高模型在生成式任务上的跨语言转移能力。
抽象的概念空间对多语言模型有什么影响？
抽象的概念空间更接近于英语，这可能影响多语言模型的偏见。
专家混合架构在多语言处理中的作用是什么？
专家混合架构分析发现非语言特定神经元和语言特定激活神经元的存在，有助于加速推理。
