通过覆盖度了解偏好微调
内容提要
本文探讨了大型语言模型（LLMs）对齐技术，重点介绍了偏好学习及其优化方法，包括强化学习与人类反馈（RLHF）和直接偏好优化（DPO）。研究提出了混合偏好优化（MPO）和广义偏好优化（GPO），旨在提高模型的稳定性和数据效率。实验结果表明，这些新方法在对齐性能上优于传统方法，提供了对偏好优化的统一视角和实证洞见。
延伸解读
偏好微调的关键：数据收集策略
文章指出，使用 on-policy 采样或负梯度方法的微调技术通常优于离线和最大似然目标。这意味着在收集偏好数据时，应注重策略的实时交互或负梯度信号，以更有效地重新定位概率分布。这一发现为实践者提供了可操作指导：优先选择 on-policy 数据而非静态离线数据，可能带来更大的性能提升。
DPO 与 RLHF：稳定性与效率的权衡
文章对比了 RLHF 和 DPO。RLHF 通过奖励模型优化策略，但可能不稳定；DPO 作为离策略算法，直接优化生成策略，提高了数据效率和稳定性。实验表明 DPO 表现更好且更简单。然而，DPO 可能受限于离线数据分布，而 RLHF 能利用在线交互。实践者需根据任务需求和数据条件选择。
统一视角：GPO 框架的启示
广义偏好优化（GPO）将 DPO、IPO、SLiC 等算法统一为凸函数参数化的离线损失家族，揭示了离线正则化与 KL 散度正则化的联系与区别。这一框架不仅提供了理论统一，还允许通过定义凸函数引入新算法。对于研究者，GPO 是探索偏好优化算法的有力工具；对于实践者，它有助于理解不同算法的正则化机制。
混合方法：MPO 与 VPO 的实践潜力
混合偏好优化（MPO）结合 DPO 和 RLHF，通过两阶段训练（先 DPO 后 RLHF）减轻两者缺点，在 HH-RLHF 和 TLDR 数据集上验证有效。价值激励的偏好优化（VPO）则统一在线与离线强化学习，实现奖励函数的不确定性估计。这些方法在摘要和对话任务中表现出实用性，为对齐实践者提供了新工具。
Q&A
偏好学习是什么？
偏好学习是一种优化模型算法，主要通过强化学习与人类反馈（RLHF）来建立奖励模型并优化生成策略。
什么是直接偏好优化（DPO）？
直接偏好优化（DPO）是一种通过离策略算法提高数据效率和稳定性的优化方法，旨在优化生成策略。
混合偏好优化（MPO）有什么优势？
混合偏好优化（MPO）结合了DPO和RLHF的优点，减轻了两者的缺点，从而提高了模型的稳定性和对齐性能。
广义偏好优化（GPO）如何实现对偏好优化的统一视角？
广义偏好优化（GPO）通过一类凸函数参数化的离线损失函数家族，提供了对偏好优化的统一视角，包括现有算法的特殊情况。
偏好优化中的价值激励（VPO）是什么？
价值激励的偏好优化（VPO）是一种方法，通过引入对奖励函数的不确定性估计，提升了偏好优化的效果。
DPO与传统RLHF方法相比有什么优势？
DPO相较于传统的RLHF方法表现更好，且更加稳定和简单，提升了对齐性能。
