改进奖励建模的西至 N: 合成优先性生成
内容提要
本文综述了基于人类反馈的强化学习（RLHF）优化语言模型的研究，涵盖多奖励模型投票、对比学习与元学习以增强奖励模型的区分与泛化能力；d-PM采用贝叶斯框架建模偏好分歧；RLHF通过迭代在线训练提升有用性与无害性；RRHF以排名损失对齐偏好；并构建大规模偏好数据集ULTRAFEEDBACK，使离线强化学习训练更稳定高效。
延伸解读
多奖励模型投票与对比学习：应对偏好噪声的两种思路
文章指出，人类反馈中常存在错误和模糊偏好，可通过多个奖励模型进行数据评估和投票来削弱其影响。同时，引入对比学习和元学习能增强奖励模型的区分与泛化能力。这两类方法分别从数据层面和模型层面入手，为迭代优化提供更可靠的奖励信号，但文章未给出具体投票机制或对比学习目标的实现细节。
d-PM的贝叶斯视角：显式建模偏好分歧
d-PM采用贝叶斯框架来考虑人类偏好之间的分歧分布，而非仅依赖单一偏好标签。它利用d-PM模型的偏好分数，通过对比学习策略训练自然语言生成模型。实验显示该方法在自动评估和人工评估上均优于此前最佳模型。这提示读者，当标注者意见不一致时，将分歧本身作为建模对象可能比简单聚合更有效。
离线RLHF的稳定性优势与ULTRAFEEDBACK的作用
文章提到，通过离线强化学习从人类反馈中对齐语言模型，采用最大似然估计、加权回归奖励和决策变换方法，能实现比在线RL方法更稳定的训练和更高性能。大规模偏好数据集ULTRAFEEDBACK的构建，为这种离线训练提供了高质量、多样化的数据基础，并在多个基准测试中取得最佳表现。不过，离线方法对数据集质量的依赖也相应更高。
奖励模型可能利用简单启发式规则：一个需警惕的风险
在将奖励学习应用于文本连续生成和摘要等任务时，文章指出模型可能会利用人类评估者的简单启发式规则，而非真正捕捉复杂质量特征。这意味着奖励模型的高分不一定代表生成质量提升。读者在评估RLHF效果时，应关注奖励模型是否过度拟合表面线索，并结合人工评估与偏好一致性分析来交叉验证。
Q&A
RLHF中如何减少错误或模糊的人类偏好数据对奖励模型的影响？
可以使用多个奖励模型进行数据评估和投票机制，以消除数据中错误和模糊偏好的影响。
d-PM模型是如何建模人类偏好分歧的？
d-PM采用贝叶斯框架来考虑人类偏好之间的分歧分布，并利用其偏好分数通过对比学习策略训练自然语言生成模型。
RRHF方法如何将语言模型输出与人类偏好对齐？
RRHF通过排名损失函数对生成的回答进行评分，从而有效地将语言模型输出与人类偏好对齐，且只需要1到2个模型进行调整，效果与微调相当。
ULTRAFEEDBACK数据集有什么特点和作用？
ULTRAFEEDBACK是一个大规模、高质量、多样化的偏好数据集，用于训练各种模型，并在多个基准测试中取得最佳表现。
离线强化学习从人类反馈中对齐语言模型有哪些优势？
离线强化学习采用最大似然估计、加权回归奖励和决策变换方法，实现了比在线RL方法更稳定的模型训练和更高的性能。
RLHF训练中奖励和策略之间的KL散度有什么关系？
研究发现奖励和策略之间的KL散度平方根存在近似线性关系。
