一致性表象之下：探索大语言模型中的跨语言知识表征共享
内容提要
该研究创建了多语言基准测试，评估语言模型的事实知识检索能力，并提出基于语言切换的方法。研究发现不同语言间的事实知识差异显著，英语表现优异，且多语言模型存在地理偏见。通过评估模型一致性和推理能力，专有模型通常优于公开模型。研究还提出在混合语言数据上微调模型的方法，以提升跨语言性能。
延伸解读
跨语言知识共享的挑战
文章指出，尽管大语言模型在机器翻译等任务上表现出表层的跨语言能力，但在更深层次的跨语言知识转移上存在困难，揭示了跨语言知识壁垒的存在。这意味着模型可能无法在不同语言间一致地检索和运用事实知识，导致同一问题在不同语言下得到不同答案。这种不一致性对依赖多语言服务的应用构成潜在风险。
地理偏见与英语优势
研究发现，英语在事实准确性和生成事实的数量方面一直表现优异，而多语言模型对来自西方大陆的事实信息存在偏见。这种地理偏见可能导致模型对其他地区知识的覆盖不足或准确性下降，影响全球用户的公平使用。文章强调，改善多语言事实评估和减少地理偏差是当前模型开发中亟待解决的问题。
模型规模与一致性的关系
文章提到，增加模型规模可以提高大多数语言的事实检测准确性，但无法改善跨语言一致性。这表明，单纯扩大模型参数并不能解决跨语言知识共享的根本问题。专有模型在一致性和推理能力上通常优于公开模型，但即使面对基本常识问题，也没有模型在两方面都达到90%的得分，说明现有模型仍有较大提升空间。
微调与知识编辑的改进方向
为了提升跨语言性能，研究提出在混合语言数据上微调模型的方法，实验证明能显著减少语言性能差异。此外，跨语言多跳知识编辑范式也被提出，用于衡量和改进知识编辑技术在跨语言设置中的表现。这些方法为缩小语言间知识差距提供了可行路径，但需要明确的优化方式来充分发挥大语言模型的完整跨语言潜力。
Q&A
这项研究的主要目标是什么？
该研究的主要目标是评估语言模型中的事实知识检索能力，并提出基于语言切换的方法来提高多语言模型的表现。
研究发现不同语言之间的知识差异吗？
是的，研究发现不同语言之间的事实知识存在显著差异，尤其是英语表现优异。
专有模型和公开模型在一致性和推理能力上有什么区别？
研究表明，专有模型通常在一致性和推理能力方面优于公开模型，但没有模型在这两个方面都达到90%的得分。
如何提升跨语言模型的性能？
研究提出在混合语言数据上微调模型的方法，以显著减少语言性能差异并提升跨语言性能。
大型语言模型在不同领域应用时面临哪些挑战？
大型语言模型在应用时常产生不正确和误导性的信息，主要由于一致性和推理能力的不足。
研究中提到的地理偏见是什么？
研究发现多语言模型对来自西方大陆的事实信息存在偏见，尤其是在英语表现优异的情况下。
