直接偏好优化（DPO）是一种有效的调优策略，用于将大型语言模型与人类偏好对齐。本文提出了带有偏移量的DPO（ODPO）方法，显著提高了对齐效果，尤其在偏好数量有限时。研究还探讨了冗长性问题，并提出了Mallows-DPO和MinorDPO等改进方法，以增强模型的稳定性和鲁棒性。

直接偏好优化（DPO）是一种优化大型语言模型的方法。本文提出了带有偏移量的 DPO（ODPO），通过调整偏好对的概率差异来提高模型对齐效果。实验表明，ODPO 在偏好对数量有限时优于传统 DPO。此外，介绍了 rDPO 和 ICDPO 方法，进一步改善模型行为对齐，并通过结合拒绝采样和直接偏好优化的 RS-DPO 方法提升模型一致性，以满足道德对齐需求。