BriefGPT - AI 论文速递 · 2023-10-20T00:00:00Z

对比偏好学习：无需 RL 的人类反馈学习

📝

内容提要

本文介绍了一种新的通用目标ΨPO，可以绕过强化学习中的两个重要近似，使得对算法进行更深入的理论分析成为可能。通过将Ψ设置为Identity，可以推导出一个有效的优化过程，并在实证中展示其优于DPO。

🏷️

标签

DPO Identity ΨPO 优化过程 强化学习