CURATRON：大型语言模型鲁棒对齐的完备偏好数据
内容提要
本文提出了一种名为偏好排名优化（PRO）的新策略，旨在将人类偏好直接应用于语言模型生成的响应中，以实现与人类价值观的对齐。研究表明，PRO 优于现有算法，并通过实验验证了其有效性。此外，提出了新的训练策略 MORE 和因果偏好优化（CPO），以提高大型语言模型的生成质量和鲁棒性。
延伸解读
偏好对齐方法的演进与互补
文章梳理了从PRO、MEET到MORE、CPO、APO等多种偏好对齐方法，反映出该领域正从单一优化目标转向多策略融合。PRO直接利用偏好排名，MEET侧重参数高效调优，MORE解决多偏好数据集的共享价值捕捉，CPO处理因果混淆，APO则引入对抗博弈。这些方法各有侧重，共同推动LLM对齐更鲁棒。
人类与高级模型偏好的差异
研究发现人类对错误不太敏感，更倾向支持自己观点的回答，且不喜欢模型承认局限；而GPT-4-Turbo等高级模型更强调正确性、清晰度和无害性。相似规模的模型偏好相似，预训练模型经对齐微调后偏好变化不大。这提示对齐目标需明确区分人类与模型评判标准，避免单一偏好主导。
偏好评估的可操纵性风险
文章指出基于偏好的评估可被有意操纵：使模型与评委偏好一致会提高评分，注入评委最不喜欢的属性会降低评分，在MT-Bench上评分变化高达0.59分（1-10分制），在AlpacaEval 2.0上高达31.94分（0-100分制）。这意味着当前评估结果可能受策略性调整影响，需警惕评分失真，并开发更稳健的评估方法。
Q&A
什么是偏好排名优化（PRO）？
偏好排名优化（PRO）是一种新策略，通过将人类偏好直接应用于语言模型生成的响应中，实现与人类价值观的对齐。
PRO与现有算法相比有什么优势？
研究表明，PRO 优于现有的对齐算法，并通过实验验证了其有效性。
MORE训练策略的主要特点是什么？
MORE训练策略通过自适应调整偏好目标，捕捉不同偏好中的共享人类价值观，实验证明其在奖励准确性和校准误差方面表现更好。
因果偏好优化（CPO）有什么作用？
因果偏好优化（CPO）旨在优化大型语言模型的生成质量和鲁棒性，并在复杂条件下验证其有效性。
对抗式偏好优化框架（APO）是如何工作的？
对抗式偏好优化框架（APO）通过最小最大博弈的方式，使LLM代理和偏好模型交替更新，以改善生成分布差异。
如何确保大型语言模型的安全和有用性？
通过对大型语言模型进行人类偏好的对齐，可以确保其安全和有用性，这是关键的训练步骤。
