强化学习中基于人类反馈的免费密集奖励
内容提要
本文综述基于人类反馈的强化学习（RLHF）研究，涵盖：利用多奖励模型投票降低偏好噪声，通过对比与元学习提升奖励模型泛化能力；提出细粒度RLHF框架以改善长文本生成中的虚假和有毒内容；采用批评模型提供密集奖励以补偿稀疏奖励，提升情感控制、去毒和摘要性能；并探讨奖励模型对分布偏移的鲁棒性及未来方向。
延伸解读
多奖励模型投票：降低偏好噪声的实用策略
文章指出，RLHF中人类偏好数据常包含错误和模糊标注，单一奖励模型容易过拟合噪声。采用多个奖励模型进行数据评估和投票，可有效消除这些影响。这一方法不依赖更复杂的算法，而是通过集成思想提升奖励信号可靠性，为实际训练提供了可操作的降噪路径。
细粒度反馈：长文本生成中抑制虚假与有毒内容
针对长文本生成中虚假、有毒或无关输出问题，文章介绍了Fine-Grained RLHF框架。该框架允许对文本片段提供细化的人类反馈，而非仅对整体评分。实验表明，这种细粒度训练能改善语言模型生成质量，尤其适用于需要局部修正的复杂生成任务。
批评模型提供密集奖励：补偿稀疏奖励的稳定方案
传统RLHF常依赖稀疏的整体奖励，导致训练不稳定。文章提出引入批评语言模型生成密集奖励，在情感控制、去毒化和摘要任务中验证有效。与PPO基线相比，该方法能稳定提升性能，且当策略模型与批评模型相同时，还能提高学习效率，为稀疏奖励场景提供了实用补偿机制。
奖励模型的分布偏移风险与过程监督的局限
文章强调，奖励模型对分布偏移的鲁棒性研究较少，异常输入会导致校准和准确率下降，并提出了检测方法。此外，基于过程监督的奖励模型虽能提升简单数学推理准确性，却意外降低复杂任务表现，说明奖励聚合函数至关重要，细粒度奖励模型仍需进一步研究以提高可靠性。
Q&A
RLHF中如何减少人类偏好数据中的噪声和模糊性？
可以使用多个奖励模型进行数据评估和投票机制，以消除数据中错误和模糊偏好的影响。
如何提升RLHF中奖励模型的泛化能力和区分能力？
引入对比学习和元学习来增强奖励模型的区分能力和泛化能力，从而实现迭代优化。
Fine-Grained RLHF框架主要解决什么问题？
该框架可以对包含一定程度错误或无效信息的长文本提供细化的人类反馈进行训练，改善语言模型生成过程中生成虚假、有毒、无关的输出等问题。
在RLHF中，批评模型如何补偿稀疏奖励？
通过引入批评语言模型的框架，利用密集奖励对强化学习中的稀疏奖励进行补偿，在情感控制、去毒化和摘要生成任务中验证有效，且相比PPO基线能稳定提升性能。
奖励模型对分布偏移的鲁棒性如何？
研究评估了奖励模型性能与分布偏移的关系，发现异常输入会导致校准和准确率下降，并提出了在奖励模型中检测分布偏移的方法。
基于过程监督和结果监督的奖励模型在推理任务上表现有何不同？
基于过程监督的方法可以提高简单数学推理的准确性，但意外地降低了复杂任务的表现，且奖励聚合函数在模型性能中起关键作用。
