跨文化对齐是否改变语言模型的常识道德？
内容提要
本文探讨大型语言模型（LLMs）在因果和道德判断方面与人类的相符度。研究发现，尽管模型的判断能力有所提高，但在不同因素的重视程度上仍存在差异。此外，预训练的多语言模型可能编码道德偏见，这些偏见不一定反映人类文化的差异。研究强调了多语言预训练数据集的重要性，以更好地代表人类经验的多样性。
延伸解读
模型与人类判断的差异
研究发现，尽管大型语言模型在因果和道德判断上与人类的整体相符度有所提高，但统计分析显示模型与人类对不同因素的重视程度存在明显差异。这表明模型可能并未真正理解人类的直觉理论，而是基于数据中的统计规律做出判断。这种差异提示我们，仅凭总体指标无法全面评估模型与人类的一致性，需要更细致的分析来揭示模型的隐含倾向。
多语言预训练中的道德偏见
预训练的多语言模型可能编码了道德偏见，但这些偏见不一定反映人类文化的差异。例如，模型可能从英语中捕捉道德规范并强加于其他语言，导致在某些语言中表现出随机且潜在有害的信念。研究强调，多语言预训练数据集需要更平衡地代表人类经验的多样性和不同文化的复数性，以减少跨语言传递中的偏见。
文化一致性的影响因素
研究表明，大型语言模型在文化一致性上受两个因素影响：当以特定文化的主要语言作为提示时，以及当使用该文化所采用的多语言精炼混合体系进行预训练时，模型对模拟调查的人物和敏感社会议题的文化一致性更高。这提示我们，在跨文化对齐中，语言提示和预训练数据的文化构成对模型行为有重要影响。
评估与对齐的挑战
通过PEW全球调查和世界价值观调查的分析，英文语言模型虽能捕捉55个国家和地区的细粒度道德变异，但不能显著预测各国的道德规范。精调可以改善跨国推断，但会牺牲准确度。此外，基于偏好的评估可能被操纵，导致评分显著变化。这些发现凸显了将文化知识纳入自动化道德规范推断的挑战与意义。
Q&A
大型语言模型在道德判断方面与人类的相符度如何？
研究发现，尽管大型语言模型的判断能力有所提高，但与人类的判断在对不同因素的重视程度上仍存在差异。
预训练的多语言模型可能存在什么问题？
预训练的多语言模型可能编码道德偏见，这些偏见不一定反映人类文化的差异。
如何改善大型语言模型的跨文化道德推断？
通过精调多语言模型，可以在牺牲准确度的情况下改善跨国推断。
多语言预训练数据集的重要性是什么？
多语言预训练数据集对于更好地代表人类经验的多样性和文化的复数性至关重要。
大型语言模型在文化一致性方面表现如何？
大型语言模型在特定文化的主要语言提示下表现出更高的文化一致性。
研究如何检测和量化高资源语言对低资源语言的影响？
研究使用跨语言模型 XLM-R，探讨高资源语言对低资源语言的影响及其道德规范的捕捉能力。
