Reducing DPO Rejection Penalties to Enhance Training Robustness
内容提要
本文提出了RS-DPO方法，通过结合拒绝采样和直接偏好优化，提升大型语言模型的精调效果，超越现有方法。研究探讨了DPO和PPO的算法特性，并提出混合偏好优化（MPO）等新方法，以增强模型对人类偏好的对齐能力，解决对齐问题的挑战。
延伸解读
DPO的局限与改进方向
文章指出，DPO虽能直接从成对偏好数据中推导奖励信号，但在监督微调的有效性和学习人类偏好响应方面存在敏感性，导致性能不尽如人意。理论分析发现，DPO损失函数降低人类不喜欢数据概率的速度快于提升偏好数据概率的速度，这解释了其局限，也为后续改进提供了理论基础。
混合偏好优化的两阶段策略
为兼顾RLHF和DPO的优点，文章提出MPO方法，采用两阶段训练：先在简单数据集上训练DPO，再以该DPO模型为参考，在困难集上进行RLHF。实验在HH-RLHF和TLDR数据集上验证了MPO的有效性，无论是GPT4评估还是人类评估均表现良好。
安全约束与偏好优化的结合
C-DPO方法在基于人类反馈的强化学习微调阶段引入安全约束，以轻量级方式同时提升AI系统的有用性和安全性，并找到了近乎最优的平衡点。这表明在偏好优化中融入约束条件，是解决对齐问题中安全与效用权衡的一种可行思路。
偏好优化方法的多样化发展
文章还介绍了ODPO、Mallows-DPO、TPO和HPO等方法。ODPO通过设置偏移量选择性处理偏好对，在偏好对有限时表现优越；Mallows-DPO利用人类偏好的分散度指数改进DPO；TPO用较少数据直接优化模型；HPO则结合直接优化与强化学习，泛化用户偏好和辅助设计目标。这些方法从不同角度推进了对齐研究。
Q&A
RS-DPO方法的主要优势是什么？
RS-DPO方法结合拒绝采样和直接偏好优化，能够在资源有限的环境中有效提升大型语言模型的精调效果，超越现有方法。
ODPO方法是如何改进DPO的？
ODPO通过设置偏移量选择性处理偏好对，尤其在偏好对数量有限时，显著提高了对齐效果。
C-DPO方法的主要功能是什么？
C-DPO方法在强化学习fine-tuning阶段强制执行安全约束，提高AI系统的有用性和安全性。
MPO方法如何解决DPO和RLHF的缺点？
MPO通过两阶段训练过程，首先在简单数据集上训练DPO，然后在困难集上进行RLHF，从而减轻了两者的缺点。
Mallows-DPO方法的创新点是什么？
Mallows-DPO利用人类偏好的分散度指数来改进DPO，从而提升强化学习与人类反馈的性能。
TPO方法的主要特点是什么？
TPO方法使用较少数据直接优化大型语言模型，避免了独立的监督精调步骤，并在多个评估指标上表现优越。
