BPO：通过遵守行为近度增强在线偏好学习 LLM
内容提要
本研究提出了一种自我增强式偏好优化（SAPO）方法，旨在提升大型语言模型（LLMs）的训练效率和性能。通过自我对弈生成负面响应，结合离线对比基线和实时反馈，动态更新响应段。此外，引入了混合偏好优化（MPO）和三重偏好优化（TPO）等新方法，显示出在多个评估指标上优于传统方法的性能。
延伸解读
SAPO 的核心机制与优势
SAPO 通过自我对弈生成负面响应，结合离线对比基线和历史数据的实时反馈动态更新响应段。这种方法不依赖现有的配对数据，能够匹配或超过 DPO、ORPO 等离线基线，并优于 SPIN 等离线自我对弈方法。其核心在于利用实时反馈进行动态调整，从而提升训练效率和性能。
MPO 的两阶段训练策略
MPO 采用两阶段训练：先在简单数据集上训练 DPO，再在困难集上以 DPO 模型为参考进行 RLHF。这种方法减轻了 RLHF 和 DPO 的缺点，在 HH-RLHF 和 TLDR 数据集上，无论是 GPT4 评估还是人类评估，都展示了有效性。
离线与在线方法的理论对比
理论分析表明，离线对比方法需要全局覆盖条件才能收敛到最优策略，而在线强化学习只需弱的局部覆盖条件。这解释了在线方法在离线数据不足时表现更好的原因。HyPO 混合算法结合离线对比优化和在线 KL 正则化，在保持计算效率的同时优于纯离线 DPO。
其他偏好优化方法简介
文章还介绍了 TPO、ICDPO、OAIF、APO 和 HPO 等方法。TPO 使用较少数据且无需独立 SFT 步骤；ICDPO 利用 ICL 能力建立瞬时评分器；OAIF 通过在线 AI 反馈优于离线方法；APO 采用对抗式框架；HPO 结合直接偏好优化和强化学习，泛化用户偏好和辅助目标。
Q&A
自我增强式偏好优化（SAPO）方法的主要目标是什么？
SAPO 方法旨在提升大型语言模型的训练效率和性能。
混合偏好优化（MPO）是如何改善传统方法的缺点的？
MPO 通过两阶段训练过程，减轻了强化学习与人类反馈（RLHF）和直接偏好优化（DPO）的缺点。
DPO 算法在无监督语言模型中解决了什么问题？
DPO 算法解决了可控性问题，相较于传统的 RLHF 方法表现更好且更稳定。
三重偏好优化（TPO）方法的特点是什么？
TPO 方法使用较少数据直接对大型语言模型进行优化，不需要独立的监督微调步骤。
如何通过自我对弈生成负面响应？
SAPO 通过自我对弈生成负面响应，并结合离线对比基线和实时反馈来动态更新响应段。
混合偏好优化（HPO）如何实现对用户偏好的泛化？
HPO 通过结合直接优化偏好和强化学习的方法，实现了对用户偏好和辅助设计目标的有效泛化。
