本文介绍了一种新的通用目标——ΨPO，用成对偏好表示，可以绕过强化学习中的两个重要近似。通过将Ψ简单地设置为Identity，可以推导出一个有效的优化过程，并在一些示例中展示其在实证上优于DPO。

本文介绍了强化学习中的两个重要近似，提出了一种新的通用目标ΨPO，用成对偏好表示，从而绕过了这两个近似。作者证明了ΨPO的性能保证，并在实证上展示其优于DPO。

ΨPO是一种新的强化学习算法，通过成对偏好来绕过两个重要的近似，可以对现有的RLHF和DPO算法进行更深入的理论理解和分析，并在实证上展示其优越性。