自我对齐：通过上下文学习改善大型语言模型中的文化价值观对齐
内容提要
本文探讨大型语言模型（LLMs）中的对齐问题，强调人类价值的多样性对模型的影响。研究比较了不同文化背景下LLMs的表现，提出了文化对齐测试（Cultural Alignment Test，CAT）和CultureLLM，以解决文化不匹配问题。结果显示，GPT-4在理解美国文化方面表现最佳，且CultureLLM在文化相关数据集上优于其他模型。研究强调多语言预训练数据集的平衡性，以增强LLMs的文化适应性和安全性。
延伸解读
文化对齐的评估工具与基准
文章介绍了文化对齐测试（CAT）和CDEval基准，用于量化LLMs与特定文化的对齐程度。CAT基于Hofstede文化维度框架，评估了ChatGPT和Bard在美国、沙特阿拉伯、中国和斯洛伐克等文化中的表现，发现GPT-4在美国文化上得分最高。CDEval则通过GPT-4自动生成并人工验证，为评估LLMs文化维度提供了新基准。这些工具帮助研究者识别模型的文化偏差，推动更具文化意识的模型开发。
CultureLLM：低成本文化适配方案
针对文化不匹配问题，文章提出CultureLLM，利用世界价值观调查（WVS）作为种子数据，通过语义数据增强生成训练数据，微调文化特定模型及统一模型CultureLLM-One。实验表明，CultureLLM在文化相关数据集上优于GPT-3.5（8.1%）和Gemini Pro（9.5%），甚至与GPT-4相当。人类研究证实生成样本与原样本语义等价，为LLMs的文化增强提供了经济高效的解决方案。
多语言预训练数据平衡的重要性
研究发现，LLMs在文化推理上存在困难，尤其对非英语文化适应性较差。多语言预训练数据的不平衡导致跨语言不一致、扭曲的语言关系以及高资源语言向低资源语言的单向传递。文章建议在预训练数据中平衡主导与非主导语言，避免主导语言过度流行，以增强LLMs的文化适应性和安全性，更好地代表人类经验的多样性。
文化适应性挑战与未来方向
文章通过NormAd数据集评估LLMs适应不同社会文化规范的能力，发现LLMs在跨文化礼物给予等情境中表现不佳，对南方全球文化的适应尤其困难。LLMs更易评估符合文化规范的故事，而非违背规范的故事。这凸显了使技术对全球受众更公平的挑战，未来需整合文化考量，开发更具文化敏感性的模型。
Q&A
大型语言模型中的对齐问题是什么？
大型语言模型中的对齐问题涉及人类价值的多样性和冲突，影响模型的文化适应性和输出结果。
文化对齐测试（CAT）有什么作用？
文化对齐测试（CAT）用于解决大型语言模型的文化不匹配问题，通过评估模型在不同文化背景下的表现。
GPT-4在文化理解方面的表现如何？
GPT-4在理解美国文化方面表现最佳，显示出较强的文化适应能力。
CultureLLM是如何提高文化适应性的？
CultureLLM通过使用World Value Survey作为种子数据，生成语义等价的训练数据，并对文化特定的模型进行微调，从而提高文化适应性。
多语言预训练数据集的平衡性为何重要？
多语言预训练数据集的平衡性有助于增强大型语言模型的文化适应性和安全性，确保不同文化的代表性。
大型语言模型在文化推理上存在哪些困难？
大型语言模型在文化推理上存在困难，尤其是对于非英语文化的适应性较差，评估文化规范的故事时表现不佳。
