在线 AI 反馈直接语言模型对齐
内容提要
该文综述大语言模型的人类反馈对齐方法：离线强化学习比在线RL更稳定高效；RLAIF与RLHF效果相当，可缓解人工标注瓶颈；线性对齐、DPO、RRHF等算法简化训练并提升性能；Diffusion-DPO将偏好优化扩展至扩散模型；OAP提升离线评估；差分隐私实现隐私保护对齐。
延伸解读
离线强化学习为何更受青睐
文章指出，离线强化学习在语言模型对齐中比在线RL更稳定高效，其采用最大似然估计、加权回归奖励和决策变换等方法。这意味着在实际训练中，离线方法可能减少交互成本，避免在线训练的不稳定性，为资源有限的团队提供可行路径。
RLAIF：缓解人工标注瓶颈的可行方案
RLAIF与RLHF在摘要任务中效果相当，人类评估员约70%的案例更偏好两者生成的结果而非监督微调模型，且对两者评分相等。这表明AI反馈可以替代部分人工标注，解决RLHF的可扩展性限制，但需注意其效果依赖于AI反馈的质量。
算法简化趋势：从DPO到线性对齐
DPO、RRHF和线性对齐等算法试图简化传统RLHF的复杂流程。DPO表现更好且更稳定简单；RRHF仅需1到2个模型调整；线性对齐甚至通过一次推断步骤对齐偏好，无需数据注释和模型训练。这些进展降低了对齐门槛，但实际部署时需权衡简化与性能。
扩散模型对齐与隐私保护的新方向
Diffusion-DPO将偏好优化扩展至扩散模型，利用人类比较数据微调SDXL-1.0，在视觉吸引力和提示对齐上优于基线。同时，差分隐私被用于实现隐私保护对齐，在保护隐私的同时保持竞争力。这些方向表明对齐技术正从语言模型向多模态和隐私敏感场景延伸。
Q&A
离线强化学习对齐语言模型相比在线RL有什么优势？
离线强化学习采用最大似然估计、加权回归奖励和决策变换方法，实现了比在线RL方法更稳定的模型训练和更高的性能。
RLAIF和RLHF在效果上有什么区别？
RLAIF与RLHF具有相似的改进效果。在摘要任务中，人类评估员在约70%的案例中更喜欢RLAIF和RLHF生成的结果，而不是基准的监督微调模型；当被要求对两者评分时，人类选择它们的比例相等。因此RLAIF可以取得与人类水平相当的性能，从而解决RLHF的可扩展性限制。
线性对齐算法如何简化语言模型对齐？
线性对齐通过一次推断步骤将语言模型与人类偏好对齐，消除了对数据注释和模型训练的依赖。它通过一种新的参数化方法改进策略优化，能够按照差异约束条件提取最优策略，并直接估计对齐的回应，显著提高了对齐的性能和效率。
DPO算法相比传统RLHF有什么改进？
DPO（Direct Preference Optimization）算法在实验中表现更好，而且更加稳定和简单，解决了无监督语言模型中的可控性问题。
Diffusion-DPO如何将偏好优化扩展到扩散模型？
Diffusion-DPO通过在人类比较数据上进行直接优化，使扩散模型与人类偏好相匹配。它从DPO适应而来，重新制定DPO以考虑扩散模型的似然概念，利用证据下界导出可微分的目标函数。利用Pick-a-Pic数据集的851K个成对偏好，对SDXL-1.0模型进行微调，在人工评估中显著优于基础模型和额外改进模型，提高了视觉吸引力和提示对齐。还开发了使用AI反馈的变体，性能与基于人类偏好训练相当。
RRHF算法有什么特点？
RRHF是一种新的学习范式，通过排名损失函数对生成的回答进行评分，从而有效地将语言模型输出与人类偏好对齐，而且只需要1到2个模型进行调整，效果与微调相当。
OAP方法在离线评估中有什么作用？
OAP是一种无交互培训方案，通过查询预先收集的、学习到的动作之间的偏好来适应性地鼓励或抑制策略限制，从而更准确地评估未见数据。在D4RL基准测试和最先进算法上具有更高的得分（平均增加29%），特别是在具有挑战性的AntMaze任务上（增加98%）。
如何实现大型语言模型的隐私保护对齐？
通过强化学习和差分隐私，研究大型语言模型的隐私保护对齐，实验结果验证了该方法在保护隐私的同时提供了竞争力的效果。
