研究发现，传统基于人类偏好的排名目标难以区分受欢迎的回应。为此，引入新方法估计偏好差异，无需详细标签。实验显示，加入边界值显著提升模型效果，证明了该方法在奖励预测和实际应用中的优越性。

研究发现，使用传统的基于人类偏好数据的排名目标训练奖励模型时，难以区分受欢迎和不受欢迎的回应。引入一种新的方法来估计偏好差异，实验证明该方法显著提高了奖励模型的效果。比较分析展示了该方法在奖励预测准确性和实际应用中的优势。