量子位
·
奖励模型也能Scaling！上海AI Lab突破强化学习短板，提出策略判别学习新范式
内容提要
上海AI Lab提出的POLAR新范式通过参考答案灵活打分，提升了强化学习中奖励模型的可扩展性和泛化能力，克服了传统模型的局限性，展现出显著的Scaling效应。
关键要点
-
POLAR新范式通过参考答案灵活打分，提升了奖励模型的可扩展性和泛化能力。
-
传统奖励模型的设计与训练是强化学习的瓶颈，缺乏系统性的预训练和扩展方法。
-
POLAR能够根据不同场景的参考答案为模型输出打分，适应多样化的定制需求。
-
POLAR通过对比学习衡量训练策略与目标策略之间的距离，提供无偏的奖励信号。
-
POLAR的预训练语料通过自动化合成数据构建，具有极强的可扩展潜力。
-
POLAR展现出与大语言模型类似的Scaling Laws，分配更多计算资源可持续提升性能。
-
POLAR在偏好评估和强化微调实验中均优于现有的SOTA奖励模型，显示出强大的潜力。
-
POLAR作为一种全新的奖励模型预训练方法，为大语言模型后训练提供了新的可能性。
延伸解读
POLAR的灵活性与适应性
POLAR新范式通过参考答案为模型打分，展现出极高的灵活性。这种方法使得模型能够根据不同场景和用户需求，快速适应多样化的定制化要求，克服了传统奖励模型在特定场景下的局限性。
Scaling效应的潜力
POLAR展现出与大语言模型相似的Scaling Laws，意味着随着计算资源的增加，模型性能将持续提升。这一特性为未来的强化学习应用提供了更强的可扩展性，尤其是在处理复杂任务时。
对比学习的优势
POLAR采用对比学习的方法来衡量策略间的距离，这种无偏的奖励信号设计使得模型能够更准确地学习策略间的细微差别。这一创新不仅提升了模型的泛化能力，也为强化学习的实际应用提供了更可靠的奖励信号。
延伸问答
POLAR新范式的主要优势是什么？
POLAR通过参考答案灵活打分，提升了奖励模型的可扩展性和泛化能力，克服了传统模型的局限性。
POLAR是如何解决传统奖励模型的局限性的？
POLAR通过对比学习衡量训练策略与目标策略之间的距离，提供无偏的奖励信号，摆脱了传统模型的绝对偏好限制。
POLAR的训练过程是怎样的？
POLAR的训练分为预训练和偏好微调两个阶段，使用对比学习来衡量策略间的距离，并通过少量偏好数据对齐人类偏好。
POLAR在Scaling效应方面表现如何？
POLAR展现出与大语言模型类似的Scaling Laws，分配更多计算资源可持续提升性能，验证集损失随模型参数和计算量的增加而下降。
POLAR在偏好评估实验中表现如何？
POLAR在偏好评估中优于现有的SOTA奖励模型，能够准确识别推理、聊天、创意写作等任务中的细微区别。
POLAR如何适应不同的定制需求？
POLAR根据不同场景的参考答案为模型输出打分，灵活适应多样化的定制需求，无需重新训练奖励模型。
