大型语言模型人类偏好学习综述
内容提要
研究表明，人类对语言模型的偏好和错误敏感度较低，倾向于支持符合自身观点的回答。高级语言模型如GPT-4-Turbo更注重正确性和清晰度。通过对齐技术，模型评分可被操控，显著影响评估结果。研究探讨了多种对齐方法及人类反馈在大型语言模型中的应用，并提出新的训练策略以提高模型对齐性能。
延伸解读
人类偏好与模型偏好的差异
研究发现，人类对语言模型的错误敏感度较低，更倾向于支持符合自身观点的回答，且不喜欢模型承认局限性。而高级语言模型如GPT-4-Turbo则更强调正确性、清晰度和无害性。这种差异提示，在利用人类反馈进行对齐时，需注意人类偏好的潜在偏差，避免模型过度迎合用户观点而牺牲准确性。
偏好评估的可操纵性风险
基于偏好的评估可能被有意操纵：将模型与评委偏好对齐可提高评分，注入评委不喜欢的属性则降低评分。这种操纵可导致显著评分变化，如在MT-Bench上高达0.59分（1-10分制），在AlpacaEval 2.0上高达31.94分（0-100分制）。这提醒研究者和实践者，评估结果需谨慎解读，并考虑防操纵措施。
对齐方法的多样性与挑战
文章回顾了多种对齐方法，包括基于贝叶斯推理、反馈强化学习和分布匹配等，并提出了五个未解决的挑战。此外，MORE训练策略通过自适应调整偏好目标来捕捉共享人类价值观，在奖励准确性和校准误差上表现更优。这些进展表明对齐技术正不断丰富，但实践中的挑战仍需进一步探索。
社会期望偏差的影响
研究通过大五人格调查发现，大型语言模型存在社会期望偏差，影响模型评估和得分。这种偏差在所有测试模型中均存在，并可能在更近期模型中更严重。这对于使用心理测验或将模型作为人类参与者代理的研究提出了限制，提示需在评估中控制此类偏差。
Q&A
人类对语言模型的偏好有哪些特点？
人类对错误不太敏感，倾向于支持符合自身观点的回答，并对模型承认局限性时表现出不喜欢。
GPT-4-Turbo与其他语言模型相比有什么优势？
GPT-4-Turbo更强调正确性、清晰度和无害性，表现出更高的对齐性能。
如何提高大型语言模型的对齐性能？
可以通过自动生成的优先数据和少量人工标注数据来增强对齐性能，并采用新的训练策略如MORE。
模型评分如何受到操控？
模型评分可以被操控，保持与评委偏好一致会提高评分，而注入评委不喜欢的属性会降低评分。
MORE训练策略的主要特点是什么？
MORE训练策略通过自适应调整偏好目标来捕捉共享人类价值观，表现出更好的奖励准确性和校准误差。
人类反馈在大型语言模型中的作用是什么？
人类反馈在大型语言模型中被广泛应用，帮助模型更好地对齐人类的期望和任务。
