比对算法的机制性理解：以 DPO 和毒性为案例研究
内容提要
本文综述大语言模型与扩散模型的人类偏好对齐方法。研究指出对齐可能损害指令模型推理性能；提出Diffusion-DPO，将DPO适配扩散模型，用85.1万偏好对微调SDXL，显著提升视觉吸引力与提示对齐；对比式后训练可持续改进LLM对齐并提升Orca性能；还提出MEET、MODPO、APO等高效对齐方法。
延伸解读
对齐的代价：推理性能可能下降
文章指出，从内容安全角度对齐指令模型可能损害其推理能力，实验显示性能下降幅度在4%到33%之间。这意味着在提升模型安全性和有用性时，需警惕对推理任务的负面影响，平衡对齐目标与基础能力。
Diffusion-DPO：将偏好优化引入扩散模型
Diffusion-DPO将DPO适配于扩散模型，利用证据下界重新制定目标函数，并用85.1万众包偏好对微调SDXL-1.0。人工评估显示其显著提升视觉吸引力和提示对齐，且AI反馈变体性能相当，为扩散模型对齐提供了可扩展方案。
对比式后训练：持续改进LLM对齐
研究比较了SLiC和DPO与SFT基准，发现即使SFT饱和后DPO仍带来阶跃式提升。采用从易到难的数据课程学习方案可进一步提高对齐性，扩大规模后对比式后训练还能提升Orca的性能，表明该方法具有持续优化潜力。
高效对齐：MEET、MODPO与APO
为克服现有对齐方法的局限，文章提出MEET通过改进控制标记质量实现参数高效调优；MODPO无需强化学习，用多目标偏好训练不同模型，计算资源比MORLHF少3倍；APO采用对抗式框架自适应解决生成分布差异，提升帮助性和无害性。
Q&A
对齐大语言模型会损害推理性能吗？
是的，实验证明从内容安全角度对齐指令调整模型会对性能产生负面影响，尤其是在各种推理基准测试中，通过有对齐的答案进行调整会使性能下降4-33%。
Diffusion-DPO 是什么？它如何工作？
Diffusion-DPO 是一种将直接偏好优化（DPO）适配到扩散模型的方法，通过重新制定DPO以考虑扩散模型的似然概念，利用证据下界导出可微分的目标函数，从而在人类比较数据上直接优化扩散模型以匹配人类偏好。
Diffusion-DPO 在 SDXL 模型上的微调效果如何？
利用Pick-a-Pic数据集中851K个众包成对偏好对SDXL-1.0基础模型进行微调后，人工评估显示微调后的模型显著优于基础SDXL-1.0模型和额外的改进模型，提高了视觉吸引力和提示对齐。
对比式后训练如何改进大语言模型的对齐？
通过自动构建偏好对比（如使用InstructGPT、ChatGPT和GPT-4），并采用对比式后训练方法，即使SFT饱和后DPO仍提供阶跃式改进；数据课程学习方案从简单对比逐渐转向困难对比，进一步提高了对齐性；扩大实验规模后，对比式后训练进一步提高了Orca的性能，超过了ChatGPT。
MEET 方法是什么？它有什么优势？
MEET是一种参数高效调优的对齐方法，通过改进控制标记的质量，在两个知名数据集上相比之前的方法明显提高了可控生成的质量。
MODPO 和 APO 分别是什么？它们有什么特点？
MODPO是多目标直接偏好优化，不依赖强化学习，通过多个收集到的反馈和特定加权的收益模型训练不同的语言模型以满足不同偏好，比MORLHF少用3倍计算资源；APO是对抗式偏好优化框架，通过最小最大博弈使LLM代理和偏好模型交替更新，自适应解决生成分布差异问题，实验证明能改善LLM的帮助性和无害性。
