PRISM 对鲍尔语言模型的主观和多元文化对齐的参与式、代表性和个性化人类反馈
内容提要
本研究通过OpinionsQA数据集探讨大型语言模型（LLMs）与美国人口观点的一致性，发现存在显著不匹配。研究提出了三层次政策框架，旨在个性化对齐以符合人类偏好，并控制潜在风险。同时，分析了性别和种族偏见对模型性能的影响，强调多语言预训练数据集的重要性，以更好地代表人类经验的多样性。
延伸解读
观点对齐的群体差异
研究发现，语言模型的观点与美国60个人口群体的观点存在显著不匹配，即使明确针对特定群体进行对齐，模型仍难以准确反映该群体的集体观点。这表明当前对齐方法在捕捉人口群体内部和之间的观点多样性方面存在局限，可能导致模型输出与用户实际偏好脱节。
偏见影响与提示局限
在主观性自然语言处理任务中，模型对来自白人和女性参与者的标签预测更为准确，显示出性别和种族偏见。研究还发现，仅仅在提示中加入目标人口统计标签反而会削弱模型性能，说明简单的人口统计提示无法有效消除偏见，需要更深入的方法来提升公平性。
多语言预训练与文化一致性
模型在模拟不同文化观点时，当使用该文化的主要语言提示或采用多语言精炼混合体系预训练时，文化一致性更高。这强调了构建更平衡的多语言预训练数据集的重要性，以更好地代表人类经验的多样性和不同文化的复数性，从而提升跨语言传递的效果。
对齐的意外影响与政策框架
对齐程序虽然改善了多种语言的性能，但可能导致英语方言和全球观点之间的差异，产生意想不到的影响。为此，研究提出了三层次政策框架，旨在让用户享受个性化对齐的好处，同时在国家和组织范围内控制不安全或不受欢迎的行为，平衡个性化与风险管控。
Q&A
大型语言模型与美国人口观点之间的匹配情况如何？
研究发现大型语言模型与美国人口观点之间存在显著不匹配，尤其在堕胎和自动化等话题上。
研究提出了什么样的政策框架来对齐大型语言模型？
研究提出了一个三层次政策框架，旨在确保大型语言模型符合人类偏好并控制潜在风险。
性别和种族偏见对大型语言模型的影响是什么？
研究发现模型对来自白人和女性参与者的标签预测更为准确，显示出性别和种族偏见的存在。
多语言预训练数据集的重要性是什么？
多语言预训练数据集对于更好地代表人类经验的多样性至关重要，能够改善模型在不同文化和语言背景下的表现。
对齐程序对多种语言的性能有何影响？
对齐程序改善了多种语言的性能，但可能导致意想不到的影响，特别是在不同文化和语言背景下。
如何改善大型语言模型的人类反馈学习方法？
研究回顾了现有的人类反馈学习方法，并提出了五个未解决的概念和实践上的挑战，以改善这些方法。
