应用示范引导强化学习来对抗 LLM 中的奖励过度优化
内容提要
本文探讨了约束强化学习在复合奖励模型中过度优化问题的解决方案，提出了一种基于策略的奖励学习框架，通过动态权重提升评估性能。研究表明，结合专家演示和多样化奖励方法可以提高样本效率和奖励不确定性，从而优化策略模型，增强整体性能。
延伸解读
奖励过度优化的成因与缓解思路
文章指出，RLHF中过度优化表现为奖励提升但人类偏好下降，常见KL正则化难以完全解决。为此，作者提出多样化LoRA集成来量化奖励不确定性，并在UP-RLHF中引入不确定性正则化，以减轻过度优化。这提示读者，单纯追求高奖励可能适得其反，需关注奖励模型的不确定性。
专家演示与约束强化学习的结合
文章提到利用专家演示改善样本效率，并将专家指导视为对策略探索的软约束，转化为约束优化问题。同时，基于策略的奖励学习（RLP）框架通过策略样本完善奖励模型，保持分布一致性。这表明，结合专家数据和约束方法，能在有限样本下提升策略学习的稳定性和效率。
分布偏移对奖励模型的影响
文章评估了奖励模型性能与分布偏移的关系，发现异常输入会导致校准和准确率下降，并提出了检测分布偏移的方法。这提醒读者，在实际应用中，奖励模型可能因输入分布变化而失效，需监控分布偏移并采取应对措施，以确保RLHF的可靠性。
密集奖励与子优示范的补充作用
文章通过引入批评语言模型框架，利用密集奖励补偿稀疏奖励，在情感控制、去毒化和摘要任务中验证了有效性。此外，通过子优示范合成优化数据来训练奖励函数，克服了旧方法的限制。这些方法为提升文本生成任务的性能提供了新途径，但需注意其适用条件和潜在偏差。
Q&A
什么是约束强化学习？
约束强化学习是一种解决复合奖励模型中过度优化问题的方法，通过学习动态权重来改善评估性能。
如何提高强化学习的样本效率？
通过结合专家演示和量化额外信息，可以改善强化学习的样本效率，降低样本复杂度。
多样化奖励 LoRA 集合的作用是什么？
多样化奖励 LoRA 集合有效量化奖励不确定性，并在优化策略模型中起到关键作用。
如何检测奖励模型中的分布偏移？
本研究提出了一种方法来检测奖励模型中的分布偏移，以评估奖励模型性能与分布偏移的关系。
密集奖励在强化学习中的作用是什么？
密集奖励可以补偿稀疏奖励，在情感控制和摘要生成等任务中验证了其有效性。
如何合成优化参数化的数据来训练奖励函数？
通过子优示范合成优化参数化的数据，可以训练理想的奖励函数，克服旧方法的限制。
