Not All Preference Pairs Are Equal: A Recipe for Efficient Iterative Preference Learning
内容提要
本文提出了多种优化方法以提高偏好学习的效率，包括注重质量和多样性的标注策略、混合优化算法（HyPO）和对抗式偏好优化框架（APO）。研究表明，这些方法在处理噪声和提升模型性能方面表现优越，尤其在大型语言模型的训练中具有重要意义。
延伸解读
标注效率：质量与多样性并重
文章提出的AEPO方法强调，在偏好标注预算有限时，应选择能同时最大化质量和多样性的回应子集进行标注。这不同于均匀标注所有数据，而是将资源集中在信息量更大的样本上。实验表明，在相同预算下，AEPO比标准DPO表现更好，说明标注策略本身对最终模型性能有显著影响。
离线与在线优化的融合：HyPO
文章指出，离线对比方法需要全局覆盖条件才能收敛到最优策略，而在线强化学习只需弱局部覆盖，这解释了在线方法在离线数据不足时的优势。HyPO混合算法结合离线对比优化和在线KL正则化，在保持计算和内存效率的同时，性能优于纯离线DPO。这为实际训练中平衡数据与计算资源提供了新思路。
噪声容忍与主动学习：ROPO与排序错误最小化
ROPO是首个提供噪声容忍保证的偏好对齐方法，通过动态分配激进梯度权重给高标签不确定性的回应对，抑制噪声样本的梯度，确保期望风险梯度方向一致。此外，针对有序项目的配对偏好反馈，文章提出两种主动学习算法，贪婪最小化排序错误，样本效率优于非上下文排名方法和主动偏好学习基线。
对抗式偏好优化：APO框架
APO通过最小最大博弈，让LLM代理和偏好模型交替更新，自适应解决生成分布差异问题。实验证明，APO在改善LLM帮助性和无害性方面有效。这一框架将偏好学习视为动态对抗过程，而非静态优化，为对齐训练提供了新视角。
Q&A
什么是注重质量和多样性的标注策略？
注重质量和多样性的标注策略通过选择能最大化质量和多样性的回应子集进行偏好标注，从而提高标注效率。
混合优化算法 (HyPO) 的优势是什么？
HyPO 结合了离线数据和在线数据进行优化，性能优于纯离线方法，同时保持计算和内存效率。
ROPO 方法如何处理噪声样本？
ROPO 方法通过动态分配激进梯度权重给高标签不确定性的回应对，有效抑制噪声样本的梯度，提供噪声容忍保证。
对抗式偏好优化框架 (APO) 的作用是什么？
APO 通过最小最大博弈的方式，使 LLM 代理和偏好模型交替更新，从而自适应地解决生成分布差异的问题。
偏好反馈学习的四个核心方面是什么？
偏好反馈学习的四个核心方面包括偏好数据、学习算法、奖励模型和政策训练提示。
如何提高大型语言模型的训练质量？
通过人类偏好对齐和成对偏好学习，可以显著提高大型语言模型的交互质量。
