Public Critique of Reward Models
内容提要
本文介绍了一种名为DPO的算法，旨在解决无监督语言模型的可控性问题，表现优于传统的RLHF方法。研究了奖励模型的一致性，并提出了ConvexDA和RewardFusion技术，以提升模型训练效果。此外，介绍了Themis工具，增强了偏好建模能力，显著改善了任务表现。通过生成合成偏好数据，提出了改进奖励模型的新方法，开辟了强化学习对齐的新研究领域。
延伸解读
奖励模型一致性：从测量到提升
文章指出，奖励模型的一致性对下游RLHF训练效果有直接影响。为此，研究者提出基于对比指令的策略来测量一致性，并开发了ConvexDA和RewardFusion两种技术。实验证明，更一致的奖励模型能为下游RLHF模型提供更有用的响应。这提示我们，在构建奖励模型时，除了关注准确率，还应将一致性作为关键指标，并可通过上述技术进行优化。
工具增强与合成数据：提升奖励模型的新路径
Themis工具通过让奖励模型与计算器、搜索引擎等外部环境交互，增强了偏好建模的可靠性和可解释性，在偏好排序任务上取得17.7%的改进，并在TruthfulQA上超越Gopher 280B。另一方面，生成合成偏好数据的方法能有效扩充训练集，其效果与添加等量人类偏好数据相当。这两条路径分别从增强模型能力和数据扩充角度，为改进奖励模型提供了新思路。
RewardBench与ArmoRM：评估与建模的进展
RewardBench作为评估奖励模型的基准数据集，通过多难度、结构化和分布外的提示-赢-输三元组，揭示了奖励模型在拒绝、推理限制和指令跟随等方面的问题。同时，ArmoRM作为一种可解释的绝对评分多目标奖励模型，结合门控网络自动选择奖励目标，在LLM对齐上达到与GPT-4评委相当的水平，并接近更大的Nemotron-4 340B奖励模型的性能。这些工作推动了对奖励模型更科学的理解和更先进的建模。
Q&A
DPO算法的主要优点是什么？
DPO算法在可控性方面表现优于传统的RLHF方法，且更加稳定和简单。
ConvexDA和RewardFusion技术的作用是什么？
这两种技术旨在提高奖励模型的一致性，从而使下游RLHF模型训练产生更有用的响应。
Themis工具的主要功能是什么？
Themis工具增强了偏好建模能力，提升了解释能力和评分可靠性，在偏好排序任务上取得显著改进。
如何通过生成合成偏好数据来改善奖励模型？
生成合成偏好数据可以增加高质量的偏好对，从而改善任何奖励模型的性能。
RewardBench的目的是什么？
RewardBench是用于评估奖励模型的基准数据集，旨在增强对奖励模型的科学理解。
ArmoRM模型在大型语言模型对齐中有什么成就？
ArmoRM模型在大型语言模型对齐领域取得了与GPT-4评委相比的最先进表现。
