Efficient and Accurate Optimization for Language Model Alignment
内容提要
本文综述大语言模型与扩散模型的偏好对齐方法。DPO无需奖励模型，直接优化人类偏好，比RLHF更简单稳定；Diffusion-DPO将其扩展至扩散模型，提升视觉吸引力与文本对齐。后续研究提出ΨPO、APA、MODPO、RSO等改进算法，提升稳定性与效率。
延伸解读
DPO 与 RLHF 的对比
文章指出，DPO 无需训练奖励模型，直接优化人类偏好，比 RLHF 更简单稳定。RLHF 依赖两个近似：用点奖励替代成对偏好，以及奖励模型能泛化到策略采样数据。DPO 绕过了第二个近似，但仍依赖第一个。ΨPO 的提出则试图绕过这两个近似，为理解 RLHF 和 DPO 的缺陷提供了理论框架。
扩散模型对齐的进展
Diffusion-DPO 将 DPO 扩展到扩散模型，通过重新制定似然概念，利用证据下界导出可微分目标。在 Pick-a-Pic 数据集的 851K 成对偏好上微调 SDXL-1.0，人工评估显示其显著提升了视觉吸引力和提示对齐。此外，使用 AI 反馈的变体也达到了与人类偏好训练相当的性能，为扩散模型对齐的扩展提供了可能。
后续算法的改进方向
APA 利用估计优势建立平方误差损失，在单独奖励模型评估下优于 PPO，且更稳定。MODPO 不依赖强化学习，通过多目标优化满足不同偏好，计算资源比 MORLHF 少 3 倍。RSO 通过统计拒绝采样优化，更准确地获取偏好数据，在多个任务上优于 SLiC 和 DPO。这些改进共同提升了稳定性与效率。
Q&A
DPO是什么？它和传统的RLHF相比有什么优势？
DPO（Direct Preference Optimization）是一种直接优化人类偏好的算法，无需训练奖励模型。相比传统的RLHF，DPO表现更好，而且更加稳定和简单。
Diffusion-DPO是如何将DPO应用到扩散模型中的？
Diffusion-DPO将DPO适应到扩散模型，重新制定DPO以考虑扩散模型的似然概念，利用证据下界导出可微分的目标函数，从而在人类比较数据上直接优化扩散模型，使其与人类偏好匹配。
Diffusion-DPO在图像生成任务上取得了什么效果？
使用Diffusion-DPO对SDXL-1.0基础模型进行微调后，在人工评估中显著优于基础SDXL-1.0模型和额外的改进模型，提高了视觉吸引力和提示对齐。
ΨPO算法解决了RLHF和DPO中的哪些近似问题？
ΨPO推导出一种新的通用目标，用成对偏好表示，绕过了RLHF中的两个近似：用点奖励替代成对偏好，以及奖励模型从策略采样的超出分布数据中泛化。ΨPO能够深入分析RLHF和DPO的行为并确定其潜在缺陷。
APA算法相比PPO有什么优势？
APA利用估计的优势建立基于平方误差损失函数的算法进行优化，在使用单独的奖励模型作为评估器时，APA明显优于PPO，并且在控制模型初始策略与改进性能之间提供更稳定的形式控制，避免了模式崩溃、不稳定性和样本效率低等问题。
RSO方法是什么？它相比SLiC和DPO有什么改进？
RSO（统计拒绝采样优化）是一种新方法，能更准确地从目标最优策略中获取偏好数据，并提出了一个统一框架，从偏好建模的角度增强了SLiC和DPO中所使用的损失函数。在三个不同任务上的实验表明，RSO在LLM和人类评估中一致优于SLiC和DPO。
