Diffusion-RPO：通过相对偏好优化对齐扩散模型
内容提要
本文探讨了通过人类比较数据和强化学习微调大规模语言模型（LLMs）的方法，提出了Diffusion-DPO以优化扩散模型与人类偏好的匹配。研究表明，Diffusion-DPO在视觉吸引力和文本对齐性方面显著优于基础模型。此外，文中还介绍了其他优化方法，如相对偏好优化（RPO）和运动扩散DPO（MoDiPO），以提升模型的适应性和生成质量。
延伸解读
扩散模型对齐的独特挑战
与语言模型不同，扩散模型的生成过程涉及多步迭代，其似然难以直接计算。Diffusion-DPO通过证据下界重新推导DPO目标，使其适用于扩散模型。这一调整解决了扩散模型对齐中的关键难题，为后续方法如MaPO、RS-DPO等提供了基础。
从人类反馈到AI反馈的扩展
Diffusion-DPO不仅依赖人类比较数据，还开发了使用AI反馈的变体，性能与基于人类偏好训练相当。这降低了对昂贵人工标注的依赖，为扩散模型对齐方法的规模化应用打开了大门，尤其适合资源有限或需要快速迭代的场景。
偏好优化方法的多样化发展
文章列举了RPO、MoDiPO、MaPO、RS-DPO等多种方法，分别针对语言模型、文本到运动、文本到图像等任务。这些方法在DPO框架下引入对比加权、课程学习、内存优化等机制，显示出偏好优化在不同模态和约束下的灵活性与适应性。
Q&A
Diffusion-DPO方法的主要目标是什么？
Diffusion-DPO方法旨在通过直接优化人类比较数据，使扩散模型与人类偏好相匹配。
Diffusion-DPO与基础SDXL-1.0模型相比有什么优势？
Diffusion-DPO在视觉吸引力和文本对齐性方面显著优于基础SDXL-1.0模型。
相对偏好优化（RPO）是如何提高模型理解用户偏好的能力的？
RPO通过对比加权机制提高了大型语言模型对用户偏好的理解能力。
运动扩散DPO（MoDiPO）方法的主要应用是什么？
MoDiPO方法用于通过直接优化偏好对齐文本到运动模型，以生成更加真实的动作。
MaPO方法在处理参考不匹配时有什么优势？
MaPO方法通过最大化喜欢和不喜欢的图像集之间的可能性间隔，显著提高了对齐性能。
如何通过Diffusion-DPO方法提高扩散模型的生成质量？
通过在人类比较数据上进行直接优化，Diffusion-DPO方法提升了扩散模型的生成质量。
