WPO: 加强 RLHF 的加权偏好优化
内容提要
本文探讨了偏好学习技术，重点介绍了强化学习与人类反馈（RLHF）和直接偏好优化（DPO）两种方法。提出了混合偏好优化（MPO）和探索性偏好优化（XPO）等新算法，以提高模型的稳定性和样本效率。这些方法在对齐大型语言模型方面表现出色，能够有效捕捉人类偏好并优化生成策略。
延伸解读
从RLHF到DPO：偏好学习的两条路径
文章梳理了偏好学习的两条主要技术路线：RLHF通过建立奖励模型再优化生成策略，而DPO则直接利用偏好数据优化策略，绕过了显式奖励建模。两者各有取舍，RLHF通常更稳定但流程复杂，DPO更直接但依赖点奖励假设。理解这一分野有助于把握后续MPO、XPO等改进算法的设计动机。
MPO与XPO：针对不同痛点的改进
MPO采用两阶段训练，先以DPO在简单数据上预热，再在困难集上以DPO模型为参考进行RLHF，旨在兼顾稳定与效果。XPO则聚焦在线探索，通过引入探索奖励增强DPO目标，提升样本效率。两者分别从训练流程和探索机制入手，反映了偏好优化领域对稳定性与效率的双重追求。
ΨPO：统一视角下的理论反思
文章指出RLHF和DPO都依赖两个近似：用点奖励替代成对偏好，以及奖励模型对分布外数据的泛化。ΨPO目标以成对偏好表示，试图绕过这两个近似，并将RLHF和DPO视为其特例。这一理论框架有助于分析现有算法的潜在缺陷，并为设计新优化过程提供依据。
PRO：直接利用偏好排名的对齐策略
PRO将人类偏好排名直接应用于语言模型生成响应的概率排名，无需显式奖励模型。实验表明，PRO在自动评估、奖励模型、GPT-4和人类评估中优于现有对齐算法，并能达到与ChatGPT和人类响应相当的水平。长而多样化的高质量偏好排名序列可稳定提升对齐性能，这为偏好数据的利用提供了新思路。
Q&A
什么是强化学习与人类反馈（RLHF）？
强化学习与人类反馈（RLHF）是一种通过人类反馈来优化模型生成策略的技术。
混合偏好优化（MPO）如何改善RLHF和DPO的缺点？
混合偏好优化（MPO）通过两阶段训练过程，减轻了RLHF和DPO的缺点，提高了模型的稳定性和样本效率。
探索性偏好优化（XPO）有什么创新之处？
探索性偏好优化（XPO）引入了新颖的探索奖励，增强了DPO目标，提高了样本效率。
直接偏好优化（DPO）依赖于什么假设？
直接偏好优化（DPO）依赖于点奖励的假设，即可以用点奖励替代成对偏好。
偏好排名优化（PRO）如何提升与人类价值观的对齐性能？
偏好排名优化（PRO）通过直接应用人类偏好排名，优于现有对齐算法，提升了与人类价值观的对齐性能。
本文提出的ΨPO目标有什么重要性？
ΨPO目标可以绕过DPO的假设，使得对RLHF和DPO的行为进行深入分析，揭示其潜在缺陷。
