混合偏好优化：通过数据选择和更好的参考模型进行强化学习
内容提要
本文介绍了一种名为直接偏好优化（DPO）的算法，旨在解决无监督语言模型的可控性问题。DPO相较于传统强化学习方法表现更佳且更稳定。此外，研究提出了Diffusion-DPO方法，通过优化扩散模型与人类偏好匹配，显著提高了视觉吸引力和提示对齐。MODPO算法则通过多反馈训练不同模型，提升了生成多样化解决方案的效率。
延伸解读
DPO 的核心优势与稳定性
文章指出，DPO 算法旨在解决无监督语言模型的可控性问题，实验表明其相较于传统 RLHF 方法不仅表现更好，而且更加稳定和简单。DPO 通过直接优化策略来满足人类偏好，避免了传统 RLHF 中复杂的奖励模型训练和强化学习过程，从而降低了实现难度和训练不稳定性。
Diffusion-DPO 在扩散模型中的应用
Diffusion-DPO 将 DPO 适配到扩散模型，通过重新制定 DPO 以考虑扩散模型的似然概念，并利用证据下界导出可微分的目标函数。该方法使用 Pick-a-Pic 数据集中的 851K 个众包成对偏好对 SDXL-1.0 基础模型进行微调，在人工评估中显著提高了视觉吸引力和提示对齐，并开发了使用 AI 反馈的变体，性能与基于人类偏好训练相当。
MODPO 的多目标优化与效率
MODPO 是一种不依赖强化学习的算法，通过使用多个收集到的反馈和特定加权的收益模型，训练不同的语言模型以满足不同的偏好，从而更高效地生成多样化的解决方案。文章提到，MODPO 使用的计算资源比 MORLHF 少 3 倍，显示出在多目标偏好优化方面的效率优势。
安全约束与资源有限场景的优化
C-DPO 方法在基于人类反馈的强化学习微调阶段强制执行安全约束，在提高 AI 系统有用性和安全性方面找到了几乎最优的平衡点。RS-DPO 方法结合拒绝采样和直接偏好优化，能够在资源有限的环境中有效精调大型语言模型，提高其与用户意图的一致性，并胜过 RS、PPO 和 DPO 等现有方法。
Q&A
DPO算法的主要目标是什么？
DPO算法旨在解决无监督语言模型中的可控性问题。
Diffusion-DPO方法如何提高视觉吸引力？
Diffusion-DPO通过直接优化人类比较数据，使扩散模型与人类偏好相匹配，从而提高视觉吸引力。
MODPO算法与传统方法相比有什么优势？
MODPO算法通过多反馈训练不同模型，能够更高效地生成多样化的解决方案，计算资源消耗比MORLHF少三倍。
C-DPO方法在强化学习中有什么作用？
C-DPO方法在微调阶段强制执行安全约束，提高了AI系统的有用性和安全性。
RS-DPO方法如何在资源有限的环境中工作？
RS-DPO方法结合拒绝采样和直接偏好优化，能够在资源有限的环境中有效精调大型语言模型。
DPO算法如何提高偏好数据的学习速率？
DPO通过预测语言模型的预测熵和优化的隐式优先级模型，提高了偏好数据的学习速率和性能。
