DPO 相遇 PPO：针对 RLHF 的强化标记优化
原文中文，约300字，阅读约需1分钟。发表于：。在这篇研究中，我们介绍了一种将人类反馈引入加强学习的框架，并提出了一种基于标记级别信息的算法，通过学习标记级别的奖励函数并进行策略优化，从而有效地解决了传统深度强化学习中的挑战。
本文研究了大规模语言模型对齐的两种主要方法：强化学习与人类反馈（RLHF）以及基于对比学习的直接偏好优化（DPO）。通过分析稳定性和鲁棒性，提出了一种新方法MPO（混合偏好优化），该方法减轻了两种方法的缺点。实验在两个公开的对齐数据集上进行，展示了MPO的有效性。
