大规模语言模型对线机恁学习的离维匀整进化
内容提要
本文介绍了一种名为DPO（直接偏好优化）的算法，旨在解决无监督语言模型的可控性问题。与传统的RLHF方法相比，DPO在稳定性和性能上表现更佳。同时，提出了MPO（混合偏好优化）方法，结合了DPO和RLHF的优点，并利用贝叶斯奖励模型和主动学习策略，进一步提高了模型的学习效率和性能。
延伸解读
DPO与RLHF的稳定性对比
文章指出，DPO在稳定性和性能上优于传统RLHF，且更简单。RLHF通常需要训练独立的奖励模型和复杂的强化学习流程，容易不稳定；DPO直接优化偏好数据，避免了这些环节。但DPO也可能受限于偏好数据的质量和覆盖范围，在复杂任务上未必全面超越RLHF。
MPO的两阶段训练策略
MPO结合了DPO和RLHF，采用两阶段训练：先在简单数据集上训练DPO，再以该DPO模型为参考，在困难集上进行RLHF。这样既利用了DPO的稳定性，又通过RLHF进一步优化。实验在HH-RLHF和TLDR数据集上验证了其有效性，但两阶段流程增加了训练复杂度和计算成本。
奖励过度优化与贝叶斯缓解
文章提到，奖励模型可能被过度优化，导致策略生成高奖励但实际质量差的回复。通过训练贝叶斯奖励模型（如Laplace-LoRA），可以在远离训练数据分布时给出更高的不确定性信号，从而缓解最佳n采样中的奖励过度优化问题。这为提高对齐可靠性提供了新思路。
主动学习提升偏好数据效率
利用DPO进行主动学习，通过预测语言模型的预测熵和隐式优先级模型的确定性度量，可以更有效地选择偏好标签，提升配对偏好数据的学习速率和最终性能。基于主动学习的RLHF方法仅用半数查询就能达到与DPO相当的性能，显著降低了标注成本。
Q&A
DPO算法的主要目的是什么？
DPO算法旨在解决无监督语言模型中的可控性问题。
MPO方法是如何结合DPO和RLHF的优点的？
MPO方法通过两阶段训练过程，首先在简单数据集上训练DPO，然后在困难集上使用RLHF，从而提高模型的学习效率。
Trust Region DPO方法有什么优势？
Trust Region DPO方法通过在训练过程中更新参考策略，展示了相对于DPO在多个参数上的优越性能。
贝叶斯奖励模型如何缓解奖励过度优化的问题？
贝叶斯奖励模型可以在离训练数据分布较远的位置发出更高的不确定性信号，从而缓解奖励过度优化的问题。
DPO和RLHF的稳定性和鲁棒性有什么不同？
DPO在稳定性和性能上表现更佳，相比之下，传统的RLHF方法可能不够稳定。
基于策略的奖励学习（RLP）框架的优势是什么？
RLP框架通过使用策略样本来完善奖励模型，保持其在分布上的一致性，并在多个基准数据集上优于现有技术。
