偏好优化中的损失景观学习

直接偏好优化(DPO)通过成对偏好数据推导奖励信号，有效对齐大型语言模型与人类偏好。

研究提供了场论分析框架，揭示DPO损失函数在减少人类不喜欢数据概率方面的速度快于增加首选数据概率的速度。

提出混合优化算法(HyPO)，结合离线对比优化和在线数据的KL正则化，性能优于纯离线方法，同时保持计算和内存效率。

通过LLM驱动的目标发现，自动发现新的偏好优化算法DiscoPOP，表现优异并成功迁移到保留任务。

系统研究偏好反馈学习的四个核心方面，发现偏好数据、学习算法、奖励模型和无标签提示对模型性能的重要性。

引入SamPO降采样方法，解决DPO算法中的过度优化问题，实现5%至12%的性能提升。

提出$f$-散度偏好优化框架($f$-PO)，在多个任务上超越现有方法，推动语言模型对齐领域的发展。

引入基于投票的偏好优化框架(VPO)，利用贝叶斯最小均方误差估计器改进生成结果，显著提升性能。

提出前缀共享技术，解决长共享提示下的冗余计算问题，提高训练吞吐量，推动偏好基于微调的可及性。