跨界拓展：模型编辑对跨语言性能的影响研究
内容提要
本文研究了知识编辑中源语言对目标语言的影响，探讨了大型语言模型（LLMs）在多语言环境中的表现及语言歧视问题。通过构建跨语言数据集，分析了不同语言的模型编辑方法及其性能，并提出了基于相似度的投票机制LDFighter，以提升不同语言用户的服务一致性和响应质量。
延伸解读
语言歧视的实证发现
文章通过AdvBench和NQ数据集对Llama2-13b、Gemma-7b、GPT-3.5-turbo和Gemini-pro四个模型的分析显示，LLMs对不同语言查询的响应存在显著差异。英语、法语、俄语和西班牙语等语言的人类对齐能力更强，平均有害查询成功越狱率仅为1.04%；而孟加拉语、格鲁吉亚语等语言则更易被越狱。在响应质量上，英语、丹麦语等语言的F1得分平均为0.1494，高于其他语言。这表明语言歧视是当前LLMs的普遍问题。
LDFighter机制的有效性
针对语言歧视问题，文章提出了基于相似度的投票机制LDFighter。该机制通过综合不同语言查询的响应来确保服务一致性。评估使用良性查询和有害查询进行，结果显示LDFighter不仅显著降低了成功越狱的概率，还平均改善了响应质量。这为提升多语言环境下LLMs的公平性和安全性提供了可行方案。
跨语言编辑的挑战与进展
文章指出，跨语言模型编辑面临性能限制，尤其是涉及不同语言脚本家族时。通过将ZsRE从英文翻译成中文构建跨语言合成数据集，研究发现不同范式的编辑方法在英文和中文上表现不一。此外，利用语言类型学特征预测跨语言性能的方法表现良好，可替代传统翻译评估。这些工作为跨语言编辑技术的发展提供了基础。
Q&A
模型编辑如何影响跨语言性能？
模型编辑在跨语言环境中会受到源语言的影响，导致不同目标语言的性能差异。
什么是LDFighter机制，它的作用是什么？
LDFighter是一种基于相似度的投票机制，旨在减轻大型语言模型中的语言歧视，确保不同语言用户获得一致的服务。
大型语言模型在多语言环境中存在哪些性能限制？
大型语言模型在多语言环境中表现出语言歧视，尤其是在不同语言脚本家族的情况下，导致响应一致性差。
如何评估跨语言模型的性能？
可以通过构建跨语言合成数据集和使用语言数据及类型学特征的方法来评估跨语言模型的性能。
研究中发现的语言歧视现象具体表现如何？
研究发现，LLMs在处理不同语言的查询时，英语、法语等语言的响应质量普遍高于孟加拉语、格鲁吉亚语等语言。
LDFighter如何改善响应质量？
LDFighter通过降低有害查询的成功越狱概率，显著改善了不同语言用户的响应质量。
