通过分布偏好奖励建模对齐群体反馈
内容提要
本文综述大语言模型与扩散模型中的人类偏好对齐研究，涵盖奖励建模、DPO、RLHF、隐私保护及分布偏移等，并提出Diffusion-DPO，将直接偏好优化用于扩散模型，经85.1万成对偏好微调SDXL-1.0，显著提升视觉吸引力与提示对齐。
延伸解读
从RLHF到DPO：偏好对齐方法的演进
文章梳理了偏好对齐方法的发展脉络：从基于强化学习的RLHF，到更简单的直接偏好优化（DPO）。DPO在语言模型中表现出比RLHF更稳定、更简单的特性，而Diffusion-DPO则将这一思路迁移到扩散模型，通过重新推导可微分目标函数，避免复杂强化学习流程，为扩散模型对齐提供了新路径。
Diffusion-DPO的实验效果与评估
Diffusion-DPO利用Pick-a-Pic数据集中85.1万成对偏好数据微调SDXL-1.0基础模型。人工评估显示，微调后模型在视觉吸引力和提示对齐上显著优于原始SDXL-1.0及其他改进模型。此外，使用AI反馈的变体也达到与人类偏好训练相当的性能，表明该方法具备扩展潜力。
偏好建模的挑战：分布偏移与隐私
文章指出，奖励模型对分布偏移的鲁棒性研究较少，异常输入可能导致校准和准确率下降，并提出了检测分布偏移的方法。同时，通过强化学习和差分隐私保护LLM对齐中的隐私，实验验证了该方法在保护隐私的同时保持竞争力，为实际部署中的安全与合规提供了参考。
Q&A
Diffusion-DPO 是什么？它如何让扩散模型对齐人类偏好？
Diffusion-DPO 是一种将直接偏好优化（DPO）适配到扩散模型的方法。它重新制定 DPO 以考虑扩散模型的似然概念，利用证据下界导出可微分的目标函数，从而直接在人类比较数据上优化扩散模型，使其与人类偏好匹配。
Diffusion-DPO 在 SDXL-1.0 上的微调效果如何？
利用 Pick-a-Pic 数据集中的 851K 个众包成对偏好，使用 Diffusion-DPO 对 SDXL-1.0 基础模型进行微调。微调后的模型在人工评估中显著优于基础 SDXL-1.0 模型和额外的改进模型，提高了视觉吸引力和提示对齐。
DPO 相比传统的 RLHF 有什么优势？
DPO 是一种解决无监督语言模型可控性问题的算法。实验表明，相较于传统的 RLHF 方法，DPO 不仅表现更好，而且更加稳定和简单。
奖励模型在面对分布偏移时会出现什么问题？
研究评估了奖励模型性能与分布偏移的关系，发现由于异常输入，奖励模型会出现校准和准确率下降的问题，并提出了在奖励模型中检测分布偏移的方法。
如何通过强化学习实现大语言模型的隐私保护对齐？
通过强化学习和差分隐私，研究大型语言模型的隐私保护对齐。实验结果验证了该方法在保护隐私的同时提供了竞争力的效果。
MORE 训练策略是如何增强奖励建模的？
MORE 是一种新的训练策略，通过自适应调整偏好目标来捕捉不同偏好中的共享人类价值观。实验证明 MORE 相较于其他方法在奖励准确性和校准误差方面有更好的表现。
