自我探索的语言模型：在线对齐的主动偏好引导
内容提要
本文提出了在线自主偏好（OSP）语言模型，通过利用偏好强度信息提高模型对齐性能，避免过度拟合。OSP在多个数据集上表现优异，并能在无监督情况下自我改进。研究还介绍了直接偏好优化（DPO）算法，解决了可控性问题，表现稳定。通过混合偏好优化（MPO）方法，结合DPO和RLHF，进一步提升了模型性能。
延伸解读
偏好强度：避免过拟合的关键
文章指出，利用偏好强度信息是避免模型过拟合、提升对齐性能的关键。传统方法通常只使用二元偏好标签，而OSP通过自我评定的偏好强度，让模型学习更细粒度的偏好差异。这种思路有助于模型在有限数据下更稳健地泛化，尤其在跨领域任务中表现更优。
DPO与RLHF的对比与融合
文章对比了直接偏好优化（DPO）和基于人类反馈的强化学习（RLHF）。DPO在可控性和稳定性上表现更好，且更简单；而RLHF则依赖在线人类反馈。混合偏好优化（MPO）结合两者，先训练DPO，再以其为参考进行RLHF，从而减轻各自缺点，在多个数据集上验证了有效性。
自我改进与无监督对齐的潜力
OSP语言模型能在无外部监督下自我改进，通过自主生成响应和偏好强度进行迭代训练。类似地，自我奖励语言模型的迭代DPO训练提升了指令遵循和奖励质量，最终模型在AlpacaEval 2.0上超越多个现有系统。这展示了模型自我进化、减少人工标注依赖的可能性。
Q&A
在线自主偏好（OSP）语言模型的主要优势是什么？
OSP语言模型通过利用偏好强度信息提高对齐性能，避免过度拟合，并在多个数据集上表现优异，尤其在有限的离线数据和跨领域任务中效率高、稳健性强。
直接偏好优化（DPO）算法解决了什么问题？
DPO算法解决了无监督语言模型中的可控性问题，表现更好且稳定，简化了模型训练过程。
混合偏好优化（MPO）方法是如何提升模型性能的？
MPO方法结合了DPO和RLHF的优点，减轻了两者的缺点，通过两阶段训练过程提升了模型的对齐性能。
OSP语言模型在自我改进方面的表现如何？
OSP语言模型能够在无需外部监督的情况下高效自我改进，展示了其自主偏好的能力。
这项研究对大规模语言模型的对齐方法有什么贡献？
研究分析了RLHF和DPO的稳定性与鲁棒性，并提出了MPO方法，推动了对齐技术的发展。
自我奖励语言模型的迭代DPO训练有什么效果？
自我奖励语言模型的迭代DPO训练提升了模型的指示遵循能力和高质量奖励的能力，使得最终模型在多个评估中表现优于现有系统。
