WildFeedback：将大型语言模型与实时用户交互和反馈对齐
内容提要
本文探讨了大型语言模型（LLMs）个性化对齐的挑战与风险，提出了三层次政策框架以确保符合人类偏好。研究介绍了OpenAssistant的发布及其优于ChatGPT的表现，强调了人类反馈在模型训练中的重要性，并提出了Contrastive Unlikelihood Training (CUT)框架以改进模型输出。研究还发现模型偏好可被操控，影响评分结果，强调了对齐的重要性。
延伸解读
个性化对齐的政策框架
文章提出三层次政策框架，旨在让用户享受个性化对齐的好处，同时在国家和组织层面控制不安全或不受欢迎的行为。这反映了在满足个体偏好与维护集体安全之间寻求平衡的治理思路，为LLM的合规部署提供了参考。
人类反馈与模型对齐的进展
从OpenAssistant的发布到ULTRAFEEDBACK数据集，再到Contrastive Unlikelihood Training框架，研究展示了利用人类反馈改进LLM输出的多种途径。其中，自然语言反馈方法显示出比传统奖励信号更大的潜力，为对齐技术提供了新方向。
偏好评估的可操纵性风险
研究发现，基于偏好的评估可被有意操纵：将模型与评委偏好对齐会提高评分，而注入评委不喜欢的属性则会降低评分，导致MT-Bench和AlpacaEval 2.0上的显著分数变化。这提醒我们，评估结果可能受策略性调整影响，需谨慎解读。
人类与模型偏好的差异
分析显示，人类对错误不太敏感，倾向于支持自己观点的回答，且不喜欢模型承认局限性；而GPT-4-Turbo等高级模型更强调正确性、清晰度和无害性。相似大小的模型偏好相似，且对齐微调对预训练模型的偏好改变不大，这揭示了偏好对齐的复杂性。
Q&A
大型语言模型个性化对齐的挑战是什么？
大型语言模型个性化对齐面临确保符合人类偏好和价值观的挑战与风险。
OpenAssistant相较于ChatGPT有哪些优势？
OpenAssistant的答复更受用户青睐，并且其发布的代码和数据遵循宽松许可证，便于研究者使用。
Contrastive Unlikelihood Training (CUT)框架的作用是什么？
CUT框架通过细致判定检测和修正来改进模型输出，获得了优于基线模型的表现。
人类反馈在大型语言模型训练中的重要性是什么？
人类反馈在模型训练中至关重要，能够提高模型输出与人类期望的一致性。
研究发现模型偏好可以被操控，这意味着什么？
这意味着模型的评分结果可以通过调整与评委的偏好一致性来影响，从而导致显著的评分变化。
如何评估大型语言模型的行为一致性？
可以通过与人类推荐者进行对比，使用行为一致性评估指标来衡量系统性能。
