一文看尽LLM对齐技术：RLHF、RLAIF、PPO、DPO……
内容提要
这篇文章总结了对齐语言模型（LLM）与人类偏好的方法，使用强化学习和人类反馈来对齐LLM以生成符合人类价值观的结果。介绍了奖励模型、反馈、强化学习和优化等不同的对齐技术。讨论了逐列表的偏好优化、负偏好优化和纳什学习等方法。指出了未来研究的方向，如使用二元反馈、加速纳什学习和简化SFT+对齐等。
延伸解读
对齐税：模型规模决定代价
文章指出，RLHF对齐可能导致模型在部分NLP基准上性能下降，即“对齐税”。OpenAI的InstructGPT（1.3B）出现了这一现象，而Anthropic的研究发现，对于13B至52B的较大模型，对齐反而带来性能提升。这意味着对齐的代价与模型规模相关，小模型可能需权衡对齐与通用能力，大模型则更易兼顾。
RLAIF：降低人类反馈成本
人类偏好数据收集成本高昂，RLAIF利用AI反馈替代部分人类反馈。Anthropic的Constitutional AI和谷歌的RLAIF均展示了这一路径。谷歌的方法通过结构化提示和两步评估生成偏好概率，并采用蒸馏或直接RLAIF策略。这有助于扩展对齐过程，但AI反馈的质量和与人类偏好的一致性仍需评估。
DPO与PPO：在线迭代更优
文章比较了DPO和PPO，指出DPO可能因分布变化产生有偏解答，而迭代式/在线DPO能通过探索响应空间和更新参考模型缓解此问题。但PPO通过优势归一化、大批量及参考模型指数移动平均，表现优于迭代DPO，更优于标准DPO。这表明对齐方法的选择需考虑在线学习与稳定性机制。
未来挑战：评估、扩展与效率
综述提出多个未来方向：建立统一对齐评估任务，避免仅用推理任务；将隐式奖励模型、逐列表偏好和纳什学习扩展到更大模型；研究二元反馈的噪声过滤；加速纳什学习收敛；确定迭代/在线学习的终止时机；以及简化SFT与对齐的结合，以平衡性能与效率。这些挑战指向对齐技术走向成熟的关键瓶颈。
Q&A
什么是对齐语言模型（LLM）？
对齐语言模型（LLM）是指通过各种技术使语言模型的输出与人类的价值观和偏好保持一致，以确保生成有用且安全的结果。
RLHF技术在对齐语言模型中有什么作用？
基于人类反馈的强化学习（RLHF）是一种重要的对齐技术，它通过人类反馈微调模型，从而使其输出更符合用户意图。
RLAIF方法如何提升LLM的对齐效果？
RLAIF方法通过利用AI反馈来减少人类偏好数据集的收集成本，从而提升LLM的对齐效果。
未来对齐语言模型的研究方向有哪些？
未来研究方向包括评估对齐性能的统一任务、扩展隐式奖励模型和逐列表偏好模型等。
什么是负偏好优化方法？
负偏好优化方法利用LLM输出作为期望响应，提升对齐效果，而不依赖于人类标注的正面样本。
纳什学习方法在对齐中有什么优势？
纳什学习方法能够解决成对偏好中的不一致问题，从而提升对齐效果。
