LLM 的偏好微调应利用次优的，符合策略的数据
内容提要
本文探讨了大型语言模型（LLMs）的对齐方法，包括强化学习与人类反馈（RLHF）和直接偏好优化（DPO）。研究提出了一种新方法混合偏好优化（MPO），结合了两者的优点，采用两阶段训练过程，实验结果显示MPO在对齐任务中表现优异，提升了模型的稳定性和性能。
延伸解读
MPO 的两阶段训练逻辑
MPO 采用两阶段训练：先在简单数据集上训练 DPO，再在困难集上以 DPO 模型为参考进行 RLHF。这种设计结合了 DPO 的稳定性和 RLHF 的优化能力，旨在减轻两种方法各自的缺点。文章指出，MPO 在 HH-RLHF 和 TLDR 两个公开对齐数据集上进行了实验，并通过 GPT4 和人类评估验证了其有效性。
RLHF 与 DPO 的互补性
文章分析了 RLHF 和 DPO 的稳定性和鲁棒性，指出两者各有优劣。RLHF 通过奖励模型优化策略，但可能不稳定；DPO 直接优化生成策略，更简单稳定，但可能受限于数据分布。MPO 试图结合两者优点，在提升约束满足度、稳定性和样本效率方面展现出优势。
理论联系与实验验证
文章提到 Reward Maximization 和 Distribution Matching 之间存在理论联系，并发现两种方法在提高约束满足度、稳定性和样本效率方面添加基线的好处。MPO 的实验在两个公开对齐数据集上进行，结果展示了其在对齐任务中的优异表现，提升了模型的稳定性和性能。
Q&A
什么是混合偏好优化（MPO）？
混合偏好优化（MPO）是一种结合了强化学习与人类反馈（RLHF）和直接偏好优化（DPO）优点的新方法，采用两阶段训练过程。
MPO的训练过程是怎样的？
MPO的训练过程分为两阶段：首先在简单数据集上训练DPO，然后在困难集上进行RLHF。
MPO在对齐任务中的表现如何？
实验结果显示，MPO在对齐任务中表现优异，提升了模型的稳定性和性能。
直接偏好优化（DPO）与强化学习反馈（RLHF）有什么区别？
DPO是一种无监督方法，表现更好且更稳定，而RLHF依赖于人类反馈进行优化。
研究中提到的Reward Maximization和Distribution Matching有什么联系？
研究表明，Reward Maximization和Distribution Matching之间存在理论联系，并在提高约束满足度、稳定性和样本效率方面具有优势。
MPO的优势是什么？
MPO结合了RLHF和DPO的优点，能够提升模型的稳定性和性能，减轻两者的缺点。
