通过在线偏好优化实现大型语言模型的人类对齐
内容提要
本文介绍了一种新的偏好学习方法Diffusion-DPO，该方法通过人类比较数据优化扩散模型，以更好地符合用户偏好。Diffusion-DPO基于直接偏好优化（DPO），在视觉吸引力和文本对齐性方面显著优于传统模型。此外，研究还探讨了在线AI反馈和拒绝采样优化等技术，以提升模型的稳定性和性能。
延伸解读
Diffusion-DPO 的核心创新
Diffusion-DPO 将直接偏好优化（DPO）适配到扩散模型，通过重新制定 DPO 以考虑扩散模型的似然概念，并利用证据下界导出可微分的目标函数。这使得扩散模型能够直接利用人类比较数据进行优化，无需传统的强化学习流程，从而更高效地与人类偏好对齐。
实验效果与数据规模
研究使用 Pick-a-Pic 数据集中的 851K 个众包成对偏好，对 Stable Diffusion XL (SDXL)-1.0 基础模型进行微调。人工评估显示，微调后的模型在视觉吸引力和提示对齐方面显著优于基础 SDXL-1.0 及其他改进模型，证明了该方法在大规模偏好数据上的有效性。
在线 AI 反馈的可行性
除了人类偏好数据，研究还开发了一个使用 AI 反馈的变体，其性能与基于人类偏好训练的模型相当。这为扩展扩散模型对齐方法提供了新途径，表明在线 AI 反馈可以作为一种可扩展的替代方案，减少对大量人工标注的依赖。
相关偏好优化技术进展
文章还提及了其他偏好优化技术，如统计拒绝采样优化 (RSO) 和 RS-DPO。RSO 通过更准确地从目标最优策略中获取偏好数据，在多个任务中优于 SLiC 和 DPO；RS-DPO 结合拒绝采样和 DPO，在资源有限环境下有效微调大型语言模型，这些方法共同推动了偏好学习领域的发展。
Q&A
Diffusion-DPO 方法的主要优势是什么？
Diffusion-DPO 方法在视觉吸引力和文本对齐性方面显著优于传统模型。
Diffusion-DPO 是如何优化扩散模型的？
Diffusion-DPO 通过人类比较数据进行直接优化，使扩散模型更符合用户偏好。
在研究中使用了多少个众包成对偏好数据？
研究中使用了851K个众包成对偏好数据进行微调。
统计拒绝采样优化 (RSO) 方法的作用是什么？
RSO 方法增强了偏好建模的效果，并在多个任务中优于现有方法。
Diffusion-DPO 方法是基于哪个算法的？
Diffusion-DPO 方法基于直接偏好优化（DPO）算法。
研究中提到的在线 AI 反馈有什么优势？
在线 AI 反馈方法在几项任务中均优于离线的 DAP 和 RLHF 方法，且反馈易于控制。
