Token-Level Direct Preference Optimization
内容提要
本文介绍了一种名为直接偏好优化（DPO）的算法，旨在解决无监督语言模型的可控性问题。DPO相较于传统的强化学习方法（RLHF）表现更好且更稳定。研究还提出了Diffusion-DPO方法，通过人类比较数据优化扩散模型，以提高视觉吸引力和文本对齐性。此外，提出了混合偏好优化（MPO）和带有偏移量的DPO（ODPO）等新方法，进一步提升了模型的对齐性能和效率。
延伸解读
DPO 的核心优势与适用场景
DPO 直接优化策略以满足人类偏好，无需训练奖励模型或使用强化学习，因此比传统 RLHF 更简单、稳定。文章指出 DPO 在实验中表现更好，尤其适合资源有限或需要快速迭代的场景。但 DPO 并非万能，其效果依赖于偏好数据的质量和数量，在偏好对有限时可能受限。
Diffusion-DPO 如何迁移到扩散模型
Diffusion-DPO 将 DPO 适配到扩散模型，通过重新定义似然并利用证据下界导出可微分目标，从而在人类比较数据上直接优化。使用 Pick-a-Pic 数据集的 851K 成对偏好微调 SDXL-1.0，人工评估显示视觉吸引力和提示对齐显著提升。这表明 DPO 类方法可跨模态扩展，但需针对模型特性调整。
MPO 与 ODPO 的改进思路
MPO 结合 DPO 和 RLHF，先简单数据 DPO 训练，再困难数据 RLHF 微调，以减轻两者缺点。ODPO 则在偏好对可能性差异上设置偏移，有选择地处理偏好对，在偏好对有限时明显优于 DPO。这些变体针对数据效率、稳定性等实际问题，但实现更复杂，需权衡计算成本。
DPO 的局限与选择建议
文章提到 PPO 在代码竞赛等任务中超越 DPO，且 DPO 在偏好对有限时效果下降。因此，选择对齐方法需考虑任务特性、数据量和计算资源。若追求简单稳定且数据充足，DPO 是优选；若需极致性能或数据稀缺，可考虑 ODPO、MPO 或 PPO 等替代方案。
Q&A
什么是直接偏好优化（DPO）算法？
直接偏好优化（DPO）是一种算法，旨在解决无监督语言模型的可控性问题，通过直接优化人类偏好来提高模型的对齐性能。
DPO与传统的强化学习方法相比有什么优势？
DPO相较于传统的强化学习方法（RLHF）表现更好且更稳定，简化了优化过程。
Diffusion-DPO方法的主要目的是什么？
Diffusion-DPO方法旨在通过人类比较数据优化扩散模型，以提高视觉吸引力和文本对齐性。
什么是混合偏好优化（MPO）？
混合偏好优化（MPO）是一种新方法，结合了DPO和RLHF的优点，旨在提高模型的对齐性能和效率。
ODPO方法在对齐语言模型方面的表现如何？
ODPO在对齐语言模型方面明显优于传统的DPO方法，尤其是在偏好对数量有限的情况下。
直接偏好优化（DPO）如何改善生成式人工智能模型的性能？
DPO通过优化人类偏好，能够在信用分配和搜索算法等方面产生有意义的改进，从而提升生成式人工智能模型的性能。
