多模态标签相关性排序的强化学习
原文中文，约300字，阅读约需1分钟。发表于：。我们引入了一种名为 LR²PPO 的新方法来解决多模态标签相关性排序问题，它有效地识别标签之间的偏序关系，并且通过使用目标域中的偏序对来训练奖励模型，进一步提供了一种新的基准数据集，LRMovieNet，用于评估我们的方法和类似方法。通过广泛的实验，我们证明了 LR²PPO 算法在解决多模态标签相关性排序问题方面的卓越性能。
本文研究了大规模语言模型对齐的两种主要方法：强化学习与人类反馈（RLHF）以及基于对比学习的直接偏好优化（DPO）。通过分析稳定性和鲁棒性，提出了一种新方法MPO（混合偏好优化），减轻了两种方法的缺点。实验在两个公开的对齐数据集上展示了MPO的有效性。
