本文探讨了通过人类比较数据和强化学习微调大规模语言模型（LLMs）的方法，提出了Diffusion-DPO以优化扩散模型与人类偏好的匹配。研究表明，Diffusion-DPO在视觉吸引力和文本对齐性方面显著优于基础模型。此外，文中还介绍了其他优化方法，如相对偏好优化（RPO）和运动扩散DPO（MoDiPO），以提升模型的适应性和生成质量。

该文章介绍了一种利用人类比较数据和强化学习方法对大规模语言模型进行微调的方法，通过Diffusion-DPO方法，可以使扩散模型更好地与人类偏好相匹配。研究结果表明，经过微调的模型在视觉吸引力和提示对齐方面显著优于基础模型。该方法为扩展扩散模型对齐方法提供了新的可能性。