过程奖励模型也可以测试时扩展？清华、上海AI Lab 23K数据让1.5B小模型逆袭GPT-4o
内容提要
清华大学与上海AI实验室提出的生成式过程奖励模型GenPRM，通过结合思维链推理与代码验证，显著提升了大语言模型的推理能力。GenPRM在复杂推理任务中表现优异，仅用23K样本便超越了GPT-4o，展现出强大的过程监督能力，为大语言模型的可解释性提供了新思路。
关键要点
-
清华大学与上海AI实验室提出生成式过程奖励模型GenPRM，提升大语言模型推理能力。
-
GenPRM在复杂推理任务中表现优异，仅用23K样本超越GPT-4o。
-
传统过程奖励模型受限于标量评分机制，难以捕捉深层逻辑错误。
-
GenPRM结合思维链推理与代码验证，提供透明的步骤评估。
-
通过并行采样N条推理路径，GenPRM提升评估精度。
-
GenPRM仅使用23K训练样本，源于独特的数据合成方法。
-
相对进步估计（RPE）提升标签准确性，避免硬估计误判。
-
GenPRM在ProcessBench基准测试中表现优异，证明测试时扩展能放大模型能力。
-
GenPRM可作为验证器和批评者，提升策略模型的回答准确率。
-
研究者已开源代码、模型及训练数据集，为大语言模型可解释性提供新思路。
延伸解读
过程奖励模型的局限性
传统的过程奖励模型（PRM）主要依赖标量评分机制，难以捕捉深层逻辑错误。这种“黑箱”机制不仅无法解释错误的根源，还限制了模型在复杂推理任务中的表现。因此，研究者们提出的GenPRM通过生成式设计和测试时扩展，旨在克服这些局限性，提升模型的可解释性和推理能力。
数据合成的创新方法
GenPRM仅使用23K样本便取得优异性能，显示出其在数据高效性上的优势。这一成果源于独特的数据合成方法，结合相对进步估计（RPE）和代码验证，生成高质量的过程监督数据。这种方法不仅减少了对大量标注数据的依赖，还提升了模型的训练效率。
测试时扩展的实际应用
GenPRM在ProcessBench基准测试中表现出色，证明了测试时扩展能够有效提升小模型的推理能力。通过并行采样多条推理路径，GenPRM能够综合评估结果，显著提高评估精度。这一策略为未来在复杂任务中应用小型模型提供了新的可能性，值得关注。
延伸问答
GenPRM模型的主要创新点是什么？
GenPRM模型结合了思维链推理与代码验证，提升了大语言模型的推理能力，并引入了测试时扩展机制。
GenPRM如何在复杂推理任务中超越GPT-4o？
GenPRM仅使用23K样本，通过测试时扩展和并行采样多条推理路径，显著提升了评估精度，从而超越了GPT-4o。
传统过程奖励模型的局限性是什么？
传统过程奖励模型受限于标量评分机制，难以捕捉深层逻辑错误，且无法通过增加计算资源提升判断精度。
GenPRM是如何提高标签准确性的？
GenPRM通过相对进步估计（RPE）改进硬估计，评估每步质量，避免了传统方法的误判。
GenPRM在数据使用上有什么优势？
GenPRM仅使用23K训练样本，远少于其他模型，得益于独特的数据合成方法和代码验证。
GenPRM如何作为验证器和批评者提升模型性能？
GenPRM作为验证器筛选答案，同时作为批评者提供步骤级别的反馈，显著提升策略模型的回答准确率。
