BriefGPT - AI 论文速递
·
奖励模型学习与直接策略优化：从人类偏好中学习的比较分析
💡
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本文介绍了强化学习中基于人类偏好的学习方法，包括两个重要的近似方法：ΨPO和DPO。作者提出了一种新的通用目标ΨPO，通过成对偏好表示，绕过了两个近似。作者还讨论了ΨPO的特殊情况，并证明了其性能优于DPO。
🎯
关键要点
- 强化学习中的人类偏好学习依赖于两个重要的近似。
- 第一个假设是用点奖励替代成对偏好。
- 第二个假设是奖励模型可以从超出分布的数据中泛化。
- 直接偏好优化（DPO）被提出以绕过第二个近似。
- DPO仍然依赖于第一个近似。
- 本文提出了一种新的通用目标ΨPO，通过成对偏好表示，绕过了两个近似。
- ΨPO使得对RLHF和DPO的行为进行深入分析成为可能。
- 通过将Ψ设置为Identity，推导出ΨPO的另一种特殊情况。
- 在某些示例中，ΨPO的性能优于DPO。
➡️
