$β$-DPO：动态 $β$ 的直接偏好优化
内容提要
本研究提出了多种改进的直接偏好优化（DPO）方法，以增强对噪声数据的鲁棒性和生成文本的质量。结合分布鲁棒优化（DRO）及新方法如Dr. DPO、Mallows-DPO、fDPO等，研究表明这些方法在强化学习与人类反馈的对齐中表现优越，尤其在处理有限偏好对时，显著提升了模型的性能和稳定性。
延伸解读
DPO 的噪声挑战与鲁棒性改进
直接偏好优化（DPO）依赖高质量的偏好对，但实际数据常含噪声。文章指出，通过结合分布鲁棒优化（DRO）与 DPO，并引入 Dr. DPO，可以增强对错配数据对的鲁棒性，从而在噪声和无噪声环境中提升生成文本的质量和回应准确性。这为处理现实世界中的不完美偏好数据提供了方向。
偏好分散度与文本质量的影响
Mallows-DPO 利用人类偏好的分散度指数改进 DPO，适用于合成赌徒选择、可控生成和对话等任务。同时，fDPO 通过训练奖励模型监控首选数据集中的文本质量，改善最终模型性能。这些方法表明，偏好数据的分布特征和文本质量对 DPO 优化效果有显著影响，值得在数据准备阶段关注。
DPO 的已知问题与正则化对策
实证研究发现 DPO 存在三个学习结果特征：被拒绝回应的概率剧烈下降、LLM 退化以及对未见回应的扩散效应。文章提出简单的正则化方法来缓解这些问题，提高训练稳定性和最终性能。此外，iLR-DPO 通过长度正则化解决回应质量提升可能导致的冗长问题，这些工作共同指向 DPO 训练中的稳定性与可控性挑战。
有限偏好对下的优化策略
当偏好对数量有限时，传统 DPO 性能受限。ODPO 通过对更喜欢或更讨厌的回复之间的可能性差异设置偏移量，有选择地处理偏好对，实验表明其明显优于传统 DPO。sDPO 则通过分阶段利用偏好数据集，使参考模型更精确对齐，最终模型性能甚至超过其他更大参数模型。这些方法为数据稀缺场景提供了实用思路。
Q&A
什么是直接偏好优化（DPO）？
直接偏好优化（DPO）是一种调优策略，用于将大型语言模型与人类偏好对齐，无需训练奖励模型或使用强化学习。
如何提高DPO对噪声数据的鲁棒性？
通过将分布鲁棒优化（DRO）与DPO相结合，研究提出了多种改进方法，如Dr. DPO和Mallows-DPO，以增强对噪声数据的鲁棒性。
Mallows-DPO的主要优势是什么？
Mallows-DPO利用人类偏好的分散度指数，改进DPO，适用于合成赌徒选择、可控生成和对话等任务，提升了模型的性能和泛化能力。
什么是逐步DPO（sDPO）？
逐步DPO（sDPO）是一种扩展的DPO方法，通过将可用的偏好数据集分阶段利用，提升模型性能，超越其他大型语言模型。
rDPO方法如何改善合成数据质量？
rDPO方法通过自我批评引导创建合成数据，并利用广义DPO损失函数提高合成数据质量，从而改善大型语言模型的行为对齐。
带有偏移量的DPO（ODPO）有什么特点？
ODPO通过对更喜欢或更讨厌的回复之间的可能性差异设置偏移量，在偏好对数量有限的情况下明显优于传统DPO方法。
