sDPO：不要一次性使用您的数据
内容提要
直接偏好优化（DPO）是一种优化大型语言模型的方法。本文提出了带有偏移量的 DPO（ODPO），通过调整偏好对的概率差异来提高模型对齐效果。实验表明，ODPO 在偏好对数量有限时优于传统 DPO。此外，介绍了 rDPO 和 ICDPO 方法，进一步改善模型行为对齐，并通过结合拒绝采样和直接偏好优化的 RS-DPO 方法提升模型一致性，以满足道德对齐需求。
延伸解读
DPO 的局限与 ODPO 的改进
直接偏好优化（DPO）无需奖励模型或强化学习即可对齐语言模型，但标准 DPO 损失可能导致模型降低对首选示例的生成概率。ODPO 通过为偏好对的可能性差异设置偏移量，有选择地处理偏好对，在偏好对数量有限时表现优于传统 DPO。这提示我们，数据稀缺时调整损失函数可能比单纯增加数据更有效。
数据增强与噪声处理：rDPO 与 ICDPO
rDPO 通过自我批评生成合成数据，并利用外部奖励模型提升数据质量，从而改善行为对齐；ICDPO 则借鉴上下文学习（ICL）能力，构建瞬时评分器来生成对齐回复。两者都试图在有限偏好数据下提升效果，但 rDPO 依赖外部奖励模型，ICDPO 依赖 ICL 能力，实际应用中需考虑额外开销。
RS-DPO：资源有限下的高效微调
RS-DPO 结合拒绝采样与直接偏好优化，在资源有限的环境中有效微调大型语言模型，提高与用户意图的一致性，并胜过 RS、PPO 和 DPO 等现有方法。这表明将采样策略与 DPO 结合，可以在不增加过多计算成本的情况下提升对齐效果，适合实际部署。
DPO 的扩展与统一框架
点对点 DPO 提供了同时处理人类演示和点对点偏好数据的统一框架，弥补了现有方法的信息损失。此外，DPO 在无监督语言模型中表现出更好的可控性，相比传统 RLHF 更稳定简单。这些扩展显示 DPO 框架具有灵活性，能适应不同数据形式和任务需求。
Q&A
什么是直接偏好优化（DPO）？
直接偏好优化（DPO）是一种将大型语言模型与人类偏好对齐的调优策略，无需训练奖励模型或使用强化学习。
ODPO与传统DPO相比有什么优势？
ODPO在偏好对数量有限时明显优于传统DPO，能够更有效地对齐语言模型。
rDPO方法是如何改善模型行为对齐的？
rDPO通过自我批评生成合成数据，并利用外部奖励模型提高数据质量，从而改善模型行为对齐。
ICDPO方法的主要特点是什么？
ICDPO方法借鉴ICL的能力，生成与瞬时评分器良好对齐的回复，从而提升模型性能。
RS-DPO方法如何提高模型一致性？
RS-DPO结合拒绝采样和直接偏好优化，有效提高模型与用户意图的一致性，优于现有方法。
DPO算法在无监督语言模型中的表现如何？
DPO算法在无监督语言模型中表现出更好的可控性，相较于传统的RLHF方法更稳定和简单。
