BriefGPT - AI 论文速递 · 2025-03-23T00:00:00Z

Mitigating Reward Over-Optimization in RLHF through Behavior-Supported Regularization

📝

内容提要

本研究提出了一种行为支持策略优化（BSPO）方法，旨在解决强化学习中基于人类反馈的奖励过度优化问题，减少模型评估时的外推误差。研究证明，BSPO能够实现策略的单调改进，并收敛到最佳策略。

🏷️

标签

人类反馈 奖励优化 强化学习 策略改进 行为支持策略优化