大型语言模型中 RLHF 的秘密之二：奖励建模
内容提要
本文综述基于人类反馈的强化学习（RLHF）的原理与应用：RRHF通过排名损失使语言模型输出与人类偏好对齐；HERON用决策树训练偏好奖励模型；研究评估奖励模型对分布偏移的鲁棒性，提出KL散度平方根与奖励的近似线性关系，并探讨奖励、策略与评估模型间的目标不匹配问题；Fine-Grained RLHF框架可对长文本提供细化反馈，减少虚假、有毒输出。
延伸解读
奖励模型的鲁棒性挑战
文章指出，现有研究很少评估奖励模型对分布偏移的鲁棒性。当输入出现异常时，奖励模型的校准和准确率会下降，这直接影响RLHF对齐的可靠性。文章还提出了在奖励模型中检测分布偏移的方法，提醒读者关注奖励模型在真实部署中可能面临的泛化风险。
目标不匹配：奖励、策略与评估的错位
文章强调，奖励模型、策略模型和评估模型之间存在不一致性，导致目标不匹配问题。这种错位可能使模型优化方向偏离人类真实意图。文章回顾了相关文献并讨论了激励解匹配后的解决方案，提示读者在设计RLHF系统时需协调三者目标，而非孤立优化单一组件。
细粒度反馈改善长文本生成
Fine-Grained RLHF框架针对长文本中部分错误或无效信息提供细化的人类反馈进行训练。实验表明，该框架能改善模型生成虚假、有毒、无关输出等问题。这提示读者，对于长文本生成任务，粗粒度的整体偏好信号可能不足，细粒度反馈有助于更精准地纠正局部问题。
降低人类反馈成本的探索
HERON通过决策树比较轨迹来训练基于偏好的奖励模型，减少了人工成本并提高性能。另一项研究提出有效的轨迹对采样方法，在收集人类反馈前探索隐藏奖励函数，所需反馈量少于现有文献。这些工作表明，提升反馈效率是RLHF实用化的重要方向，读者可关注采样策略对降低标注负担的潜力。
Q&A
RRHF 是如何将语言模型输出与人类偏好对齐的？
RRHF 通过排名损失函数对生成的回答进行评分，从而有效地将语言模型输出与人类偏好对齐，而且只需要调整 1 到 2 个模型，效果与微调相当。
HERON 框架如何训练基于偏好的奖励模型？
HERON 通过比较轨迹并使用决策树进行优先级排序来训练基于偏好的奖励模型，从而在处理复杂任务时减少人工成本并提高性能。
奖励模型对分布偏移的鲁棒性如何？
研究评估了奖励模型性能与分布偏移的关系，发现异常输入会导致校准和准确率下降，并提出了在奖励模型中检测分布偏移的方法。
奖励和策略之间的 KL 散度有什么关系？
研究提出了奖励和策略之间的 KL 散度平方根的近似线性关系。
Fine-Grained RLHF 框架能解决什么问题？
Fine-Grained RLHF 框架可以对包含一定程度错误或无效信息的长文本提供细化的人类反馈进行训练，实验表明使用该框架能够改善语言模型生成虚假、有毒、无关输出等问题。
RLHF 中奖励模型、策略模型和评估模型之间存在什么目标不匹配问题？
由于奖励模型、策略模型和评估模型之间的不一致性，存在目标不匹配的问题。本文探讨了该问题的原因，并回顾了相关的模型学习和强化学习文献，讨论了激励解匹配之后的解决方案，以促进未来语言模型更准确地遵循用户指令，提供更安全和有用的服务。
