CLHA: 人类对齐的简单而有效的对比学习框架
内容提要
本文探讨了通过人类反馈强化学习（RLHF）改进大型语言模型（LLMs）的方法，提出了对比奖励和线性对齐算法，以提升模型的响应质量和鲁棒性。研究发现，RLAIF与RLHF在性能上相当，而Safe RLHF在减少有害回应方面表现更佳。通过不断更新偏好模型，优化了语言模型的帮助性和无害性，推动了人机交互技术的发展。
延伸解读
对比奖励如何提升RLHF的鲁棒性
文章指出，对比奖励作为一种奖励惩罚项，能压制强化学习中的奖励不确定性，从而提升模型鲁棒性。它鼓励基准改进，并根据任务难度进行校准，同时减少PPO中的方差。实证表明，无论通过GPTs还是人类评价，该方法始终优于强基准。这为RLHF中奖励模型的设计提供了新思路。
线性对齐：无需注释和训练的对齐新路径
线性对齐算法通过一次推断步骤将语言模型与人类偏好对齐，消除了对数据注释和模型训练的依赖。它采用新的参数化方法改进策略优化，能在差异约束下提取最优策略并直接估计对齐回应。实验显示，该方法显著提升了不同场景下的对齐性能和效率，为传统对齐算法的高成本问题提供了替代方案。
RLAIF与RLHF的性能对比及可扩展性
文章通过头对头比较发现，RLAIF与RLHF在摘要任务中改进效果相似。人类评估员在约70%的案例中更喜欢两者生成的结果，而非基准监督微调模型；当被要求评分时，人类选择RLAIF和RLHF的比例相等。这表明RLAIF能达到与人类水平相当的性能，从而解决RLHF在获取高质量人类偏好标签上的可扩展性限制。
Safe RLHF在无害性上的优势与迭代在线训练
Safe RLHF通过训练单独的奖励和成本模型，在帮助性和无害性上调整LLMs，以最大化奖励并满足成本约束。实验证明，与现有值对齐算法相比，它在减轻有害回应和提高模型性能方面更优越。此外，迭代在线训练每周用新人类反馈更新偏好模型和策略，有效改进了数据集和模型，并揭示了奖励与策略间KL散度平方根的近似线性关系。
Q&A
什么是人类反馈强化学习（RLHF）？
人类反馈强化学习（RLHF）是一种通过人类反馈信号来改进大型语言模型输出与人类期望一致性的学习方法。
对比奖励在强化学习中有什么作用？
对比奖励通过引入奖励惩罚项，提高了奖励模型的效果，增强了模型的鲁棒性，并减少了奖励的不确定性。
线性对齐算法如何改善语言模型的性能？
线性对齐算法通过一次推断步骤将语言模型与人类偏好对齐，消除了对数据注释和模型训练的依赖，显著提高了性能和效率。
Safe RLHF算法的优势是什么？
Safe RLHF算法在减少有害回应和提高模型性能方面表现优越，能够实现对大型语言模型的价值调整。
RLAIF与RLHF的比较结果如何？
RLAIF与RLHF在性能上相当，能够解决RLHF的可扩展性限制，且在许多案例中人类评估员更喜欢这两者生成的结果。
如何通过迭代在线模式训练优化语言模型？
通过每周使用新的人类反馈数据更新偏好模型和强化学习策略，可以有效改进数据集和模型的帮助性与无害性。
