DPO通过数学推导，从KL正则的RLHF目标中反解出隐式奖励，无需显式奖励模型和在线采样，直接用离线偏好数据训练语言模型。其损失函数基于Bradley-Terry模型，通过推高胜者、压低败者的log-ratio来优化策略。DPO工程复杂度低，但受限于离线数据，存在分布漂移和长度偏置风险，β参数控制KL正则强度。

本研究提出了一种新方法，通过隐式奖励从英文模型获取偏好，并将其迭代训练转移到其他语言，从而有效提升多语言模型性能，减少对多语言偏好数据的需求。