桥接和建模成对数据中的相关性以实现直接偏好优化
内容提要
本文提出了一种名为“rDPO”的方法，通过自我批评生成合成数据，并利用DPO损失函数优化大型语言模型（LLM）。研究表明，rDPO在模型对齐方面优于传统DPO，尤其在偏好数量有限的情况下。此外，提出了逐步DPO（sDPO）和三重偏好优化（TPO）方法，以提高模型性能并减少训练数据噪声的影响。
延伸解读
DPO的局限与改进方向
文章指出，标准DPO损失函数存在一个关键问题：当两个完成之间的相对概率增加时，模型反而会降低对首选示例的可能性。这解释了DPO在SFT有效性和学习人类偏好方面的敏感性。为此，研究者提出了DPOP等新损失函数来避免这一问题，并在多个数据集上优于DPO。理解这一局限有助于读者认识DPO并非完美，后续改进方法正是针对这些痛点。
rDPO如何提升数据效率
rDPO通过自我批评生成合成数据，并利用额外外部奖励模型提高合成数据质量，再以广义DPO损失蒸馏给学生LLM。这种方法在偏好对数量有限时优势明显，因为合成数据可以补充稀缺的真实偏好数据。同时，rDPO在随机偏好翻转情况下能显著降低标签噪音对学习策略的影响，为数据有限或噪声较多的场景提供了实用方案。
逐步DPO与三重偏好优化的实践价值
逐步DPO（sDPO）将偏好数据集分阶段利用，而非一次性使用，从而在训练中利用更精确对齐的参考模型，最终模型性能甚至超过参数更多的流行LLM。三重偏好优化（TPO）则无需独立SFT步骤，用较少数据直接优化LLM，并在多个指标上超越其他方法。这些方法为资源有限或追求高效对齐的团队提供了新选择。
噪声鲁棒性：DRO与DPO的结合
针对训练数据中的噪声挑战，文章提出将分布鲁棒优化（DRO）与DPO结合，并引入Dr. DPO来增强对错配数据对的鲁棒性。实验表明，在噪声和无噪声环境中，该方法都能提升生成文本质量和回应准确性。这提示读者，在实际应用中数据噪声难以避免，而鲁棒优化是提升DPO实用性的重要方向。
Q&A
什么是rDPO方法？
rDPO是一种通过自我批评生成合成数据并利用DPO损失函数优化大型语言模型的方法。
rDPO与传统DPO相比有什么优势？
rDPO在模型对齐方面优于传统DPO，尤其在偏好数量有限的情况下表现更佳。
逐步DPO（sDPO）方法的主要特点是什么？
逐步DPO方法通过分阶段利用偏好数据集，提高模型性能，且最终模型性能优于其他参数更多的流行大型语言模型。
三重偏好优化（TPO）方法的作用是什么？
三重偏好优化方法使用较少数据直接优化大型语言模型，性能超过其他方法。
如何提高DPO对训练数据噪声的鲁棒性？
通过将分布鲁棒优化（DRO）与DPO结合，提高DPO对噪声的鲁棒性。
rDPO方法如何改善生成文本的质量？
rDPO通过提高合成数据质量，改善大型语言模型的行为对齐，从而提升生成文本的质量。
