基于几何平均的软偏好标签优化
内容提要
本文介绍了多种优化策略以对齐大型语言模型（LLMs）与人类偏好，包括Preference Ranking Optimization（PRO）、多目标直接偏好优化（MODPO）和Diffusion-DPO等。这些方法通过直接优化人类偏好，显著提高了模型的生成质量和对齐性能，同时减少了计算资源消耗。研究表明，这些新方法在视觉吸引力和文本对齐性方面表现优异，推动了LLMs与人类价值观的更好契合。
延伸解读
从PRO到BPO：偏好优化技术的演进脉络
文章梳理了2023年至2024年间多种偏好优化方法，从PRO、MODPO到Diffusion-DPO、Panacea、CPO、SPO、AOT和BPO。这些方法在优化目标、数据需求和计算效率上各有侧重，反映了LLM对齐领域从依赖强化学习向直接优化、从单目标向多目标、从配对数据向未配对数据发展的趋势。读者可借此了解技术迭代的多样性。
效率与简化：MODPO和SPO的实用优势
MODPO不依赖强化学习，使用多个反馈和加权收益模型，计算资源消耗比MORLHF减少三倍，适合资源有限的多偏好场景。SPO则无需奖励模型，通过自然损失函数直接优化输出分布，在简单性和计算效率上具有优势。两者都降低了传统RLHF的复杂性和成本，为实际部署提供了更轻量的选择。
扩散模型对齐：Diffusion-DPO的跨模态拓展
Diffusion-DPO将直接偏好优化适配到扩散模型，利用证据下界推导可微分目标，并在Pick-a-Pic数据集的851K成对偏好上微调SDXL-1.0。人工评估显示其显著提升视觉吸引力和提示对齐，且AI反馈变体性能相当。这表明偏好优化方法可跨模态迁移，为图像生成模型的对齐提供了新思路。
多目标与未配对数据：Panacea、CPO和AOT的探索
Panacea将对齐视为多维偏好优化，用SVD低秩适应高效处理复杂偏好；CPO实现可控多目标对齐并获得Pareto改进；AOT则针对未配对偏好数据，通过最优输运使正样本奖励分布一阶随机支配负样本，在7B模型上达到先进水平。这些方法拓展了对齐的灵活性和数据利用效率。
Q&A
什么是Preference Ranking Optimization（PRO）策略？
PRO策略通过将人类偏好排名直接应用于语言模型生成的响应，旨在提高模型的对齐性能。
多目标直接偏好优化（MODPO）有什么优势？
MODPO不依赖强化学习，使用多个反馈和加权收益模型，能生成多样化解决方案，计算资源消耗减少三倍。
Diffusion-DPO方法如何提高模型的视觉吸引力？
Diffusion-DPO通过直接优化人类比较数据，使扩散模型与人类偏好相匹配，从而提高视觉吸引力和文本对齐性。
软偏好优化（SPO）方法的主要特点是什么？
SPO方法无需奖励模型，通过自然损失函数优化模型输出，展示了在对齐精度和计算效率上的优势。
基于最优输运的对齐（AOT）方法的工作原理是什么？
AOT通过在未配对的偏好数据中优化正样本的奖励分布，使其在一阶随机支配负样本的分布，从而实现对齐。
可控偏好优化（CPO）如何实现多目标对齐？
CPO通过实现模型响应满足不同目标需求的对齐，并在多目标对齐中获得Pareto改进。
