纠正 KL 正则化神话：通过卡方偏好优化进行直接对齐而不过多参数化
内容提要
本文探讨了大型语言模型（LLMs）与人类偏好的对齐问题，提出了广义偏好优化（GPO）和混合偏好优化（HPO）等多种优化方法，以提升模型的鲁棒性和生成文本的质量。同时，引入了新的损失函数和降采样方法，验证了其在处理噪声和优化性能方面的有效性。
延伸解读
KL正则化并非唯一路径
文章指出，传统RLHF依赖KL散度正则化来约束模型偏离参考策略，但GPO框架表明，通过设计特定的凸损失函数，可以在离线偏好优化中实现类似的正则化效果，且与KL正则化存在微妙区别。这为对齐实践者提供了新的算法工具，减少了对显式KL项的依赖。
离线偏好优化的统一视角
GPO将DPO、IPO、SLiC等算法统一为凸函数参数化的损失家族，揭示了它们之间的内在联系。这种统一视角不仅有助于理解不同算法的正则化机制，还能自然地引入新的变体，推动偏好优化算法的发展。
应对噪声与过度优化的策略
针对DPO训练中的噪声和过度优化问题，文章介绍了Dr. DPO和SamPO等方法。Dr. DPO通过分布鲁棒优化提升对噪声数据对的鲁棒性，SamPO则通过降采样缓解过度优化，实验显示性能提升5%至12%。这些方法为实际训练提供了有效解决方案。
混合与在线方法的性能优势
HPO结合直接偏好优化和强化学习，在多个基准上保持对齐性能；TR-DPO通过更新参考策略改善模型质量；RSO从偏好建模角度统一并增强了SLiC和DPO的损失函数，实验证明其优于基线。这些方法展示了不同技术路线的潜力。
Q&A
什么是广义偏好优化（GPO）？
广义偏好优化（GPO）是一种新的离线损失函数，旨在统一多种偏好优化算法，并通过凸函数参数化实现对偏好优化的统一视角。
如何提高大型语言模型的对齐性能？
通过人类意见反馈的强化学习和多样化的分歧约束，可以更高效地使大型语言模型与人类偏好相一致，从而改善对齐性能。
SamPO方法的作用是什么？
SamPO是一种有效的降采样方法，旨在解决直接偏好优化中的过度优化问题，并通过去偏的奖励实现模型性能的提升。
混合偏好优化（HPO）是如何工作的？
混合偏好优化（HPO）结合了直接优化偏好和强化学习的方法，有效泛化用户偏好和辅助设计目标，同时保持对齐性能。
统计拒绝采样优化（RSO）有什么优势？
统计拒绝采样优化（RSO）能够更准确地从目标最优策略中获取偏好数据，并在多个任务上表现优于SLiC和DPO。
Trust Region DPO方法的主要改进是什么？
Trust Region DPO方法通过在训练过程中更新参考策略，改善模型质量，并在多个参数上展示了相对于传统DPO的优越性能。
