DPO 相遇 PPO：针对 RLHF 的强化标记优化
内容提要
本文探讨了通过改进的强化学习方法（如直接偏好优化DPO和邻近策略优化PPO）在资源有限环境中优化大型语言模型的性能。研究表明，DPO在与人类反馈对齐方面表现优越，结合拒绝采样的RS-DPO方法有效提升了模型一致性。此外，混合偏好优化MPO方法在稳定性和鲁棒性上优于传统方法，实验结果验证了其有效性。
延伸解读
DPO与PPO的算法特性对比
文章通过理论和实证研究，对比了直接偏好优化（DPO）和邻近策略优化（PPO）在大型语言模型对齐中的特性。研究发现，PPO在细化语言模型时表现出色，并在挑战性的代码竞赛中取得了最先进的结果。而DPO在令牌级马尔可夫决策过程（MDP）中，能够在信用分配和搜索算法等方面产生有意义的改进。这表明两种方法各有优势，选择取决于具体任务和资源条件。
资源有限环境下的优化策略
针对资源有限的环境，文章提出了RS-DPO方法，通过结合拒绝采样和直接偏好优化，有效精调大型语言模型，提高与用户意图的一致性，并胜过RS、PPO和DPO等现有方法。此外，还有研究通过改进PPO，使用REINFORCE-style优化，在低成本下实现在线强化学习优化。这些方法为在计算资源受限时仍能实现有效对齐提供了实用方案。
混合偏好优化（MPO）的稳定性和鲁棒性
文章提出了一种新方法MPO（混合偏好优化），旨在减轻RLHF和DPO的缺点。MPO采用两阶段训练过程：首先在简单数据集上训练DPO，然后在困难集上以DPO模型作为参考模型进行RLHF。实验在公开对齐数据集HH-RLHF和TLDR上进行，通过GPT4和人类评估验证了MPO的有效性，表明其在稳定性和鲁棒性上优于传统方法。
其他相关优化方法
文章还提及了其他优化方法，如APA算法利用估计的优势建立基于平方误差损失函数的优化，在使用单独奖励模型作为评估器时明显优于PPO，并提供更稳定的形式控制，避免模式崩溃、不稳定性和样本效率低等问题。此外，有研究发现使用足够的无偏好数据进行策略优化能显著提高性能，其中RMB-PO+方法表现最佳。这些方法为RLHF的改进提供了多样化的思路。
Q&A
DPO和PPO的主要区别是什么？
DPO（直接偏好优化）在与人类反馈对齐方面表现优越，而PPO（邻近策略优化）在细化语言模型时表现出色。
RS-DPO方法是如何提升模型一致性的？
RS-DPO方法结合拒绝采样，能够在资源有限的环境中有效精调模型，提高与用户意图的一致性。
混合偏好优化（MPO）有什么优势？
MPO在稳定性和鲁棒性上优于传统方法，减轻了RLHF和DPO的缺点。
DPO在信用分配方面的表现如何？
DPO在信用分配和搜索算法等方面产生了有意义的改进，表现优越。
实验结果如何验证MPO的有效性？
实验在公开对齐数据集上进行，展示了MPO在GPT4和人类评估上的有效性。
如何通过DPO优化大型语言模型？
通过相对反馈和直接偏好优化，DPO能够有效对齐大型语言模型到人类的偏好。
