直接偏好优化（DPO）是一种优化大型语言模型的方法。本文提出了带有偏移量的 DPO（ODPO），通过调整偏好对的概率差异来提高模型对齐效果。实验表明，ODPO 在偏好对数量有限时优于传统 DPO。此外，介绍了 rDPO 和 ICDPO 方法，进一步改善模型行为对齐，并通过结合拒绝采样和直接偏好优化的 RS-DPO 方法提升模型一致性，以满足道德对齐需求。