对 DPO 及其变种在多个任务中的对齐研究
内容提要
本文探讨了大型语言模型（LLMs）与人类偏好的对齐方法，重点介绍了直接偏好优化（DPO）和混合偏好优化（MPO）。研究表明，DPO在对齐性和性能上表现优越，尤其是通过逐步DPO（sDPO）和Token-level DPO（TDPO）等新方法，显著提高了模型质量和多样性。此外，Diffusion-DPO方法通过优化扩散模型与人类偏好对齐，取得了良好效果。
延伸解读
DPO 的局限与理论解释
文章指出，DPO 虽然有效，但对监督微调（SFT）的效果和向人类偏好响应的学习能力敏感，可能导致性能不理想。通过场论分析，研究者发现 DPO 损失函数降低人类不喜欢数据概率的速度快于增加偏好数据概率的速度，这为 DPO 的局限性提供了理论解释，并为其改进奠定了基础。
DPO 变种如何提升对齐效果
针对 DPO 的不足，文章介绍了多种变种：逐步 DPO（sDPO）通过分阶段利用偏好数据集，使用更精确对齐的参考模型，提升了最终模型性能；Token-level DPO（TDPO）在 token 级别优化前向 KL 散度约束，提高了对齐性和多样性；TR-DPO 通过更新参考策略改善模型质量；RS-DPO 结合拒绝采样，在资源有限环境下有效微调。这些方法从不同角度增强了 DPO 的稳定性和效果。
DPO 在扩散模型上的扩展
Diffusion-DPO 将 DPO 适应到文本到图像扩散模型，通过重新制定 DPO 以考虑扩散模型的似然概念，并利用证据下界导出可微分目标函数。在 Pick-a-Pic 数据集的 851K 成对偏好上微调 SDXL-1.0 基础模型后，人工评估显示其显著优于基础模型和额外改进模型，提高了视觉吸引力和提示对齐，为扩散模型对齐打开了新方向。
混合偏好优化（MPO）的提出
文章分析了 RLHF 和 DPO 的稳定性和鲁棒性，提出混合偏好优化（MPO）以减轻两者缺点。MPO 采用两阶段训练：先在简单数据集上训练 DPO，再在困难集上以 DPO 模型为参考进行 RLHF。在 HH-RLHF 和 TLDR 数据集上的实验表明，MPO 在 GPT4 和人类评估中均有效，结合了两种方法的优势。
Q&A
什么是直接偏好优化（DPO）？
直接偏好优化（DPO）是一种通过从成对偏好数据中推导奖励信号来对齐大型语言模型（LLMs）与人类偏好的方法。
逐步DPO（sDPO）有什么优势？
逐步DPO（sDPO）通过将可用的偏好数据集划分并逐步利用，能够利用更精确对齐的参考模型，从而提高模型性能。
Diffusion-DPO方法是如何工作的？
Diffusion-DPO方法通过在人类比较数据上进行直接优化，使扩散模型与人类偏好相匹配，从而提高视觉吸引力和提示对齐。
混合偏好优化（MPO）如何改善对齐效果？
混合偏好优化（MPO）通过结合DPO和强化学习的方法，减轻了两者的缺点，提升了对齐的稳定性和鲁棒性。
RS-DPO方法的特点是什么？
RS-DPO方法结合拒绝采样和直接偏好优化，能够在资源有限的环境中有效精调大型语言模型，提高与用户意图的一致性。
DPO在大型语言模型中的应用效果如何？
DPO在与人类偏好的对齐中表现出色，能够显著提高模型的质量和多样性，尤其是在逐步DPO和Token-level DPO等新方法的应用下。
