通过验证器进行多步问题求解：基于模型引导的过程监督的实证分析
内容提要
该文综述语言模型多步推理的监督方法：过程监督提升数学问题准确性，主动学习增强其效果；结果监督（OVM）将多步推理转为规划问题，在GSM8K等数据集表现优异；Math-Shepherd等过程验证器及GSM8K数据集推动领域发展，并探讨模型是记忆还是真正推理。
延伸解读
过程监督与结果监督的对比
文章对比了过程监督和结果监督两种方法。过程监督关注每一步推理的正确性，能显著提高数学问题准确性；结果监督（如OVM）则优先考虑能导致准确结论的步骤，将多步推理转化为规划问题。在GSM8K和Game of 24数据集上，OVM表现优异，OVM-7B在GSM8K上达到13B参数模型的最新成果。两种方法各有侧重，为多步推理任务提供了不同视角。
过程验证器的实际应用
Math-Shepherd是一种过程导向的数学验证器，使用自动生成的过程级监督数据训练，通过对LLM输出逐步赋予奖励分数来解决复杂多步数学问题。它指导开源LLMs取得非凡性能，并在自洽性方法和其他验证模型方面表现优异。这表明自动过程监督对LLM的未来演进具有重要潜力，可应用于其他相关语言模型的研究。
模型推理机制的探测
文章探讨了语言模型在多步推理任务中是通过记忆还是真正推理。通过引入机械化探测器，从模型注意力模式中恢复推理树，分析GPT-2和LLaMA等模型。结果显示，在大多数示例中能检测到推理树信息，表明模型确实经历了多步推理过程，而非简单抄袭预训练语料。这为理解模型推理机制提供了新方法。
Q&A
过程监督和结果监督在训练语言模型解决数学问题时有什么主要区别？
过程监督关注每一步推理的正确性，能显著提高模型在复杂数学问题上的准确性；而结果监督（如OVM）则优先考虑能导致准确结论的步骤，将多步推理转化为规划问题，不要求每一步都正确。
OVM模型在哪些数据集上取得了优异表现？具体成绩如何？
OVM在GSM8K和Game of 24两个多步数学推理数据集上表现卓越。特别是在GSM8K中，OVM-7B模型达到了13B参数LLMs的最新成果。
Math-Shepherd是什么？它如何提升语言模型的数学推理能力？
Math-Shepherd是一种过程导向的数学验证器，使用自动生成的过程级监督数据训练，通过对LLM的输出逐步赋予奖励分数来解决复杂多步骤数学问题，指导开源LLMs取得非凡性能，并在自洽性方法和其他验证模型方面表现优异。
语言模型在多步推理任务中是真的进行推理，还是仅仅记忆了预训练语料中的答案？
通过机械化探测器从模型注意力模式中恢复推理树的研究表明，在大多数示例中能检测到推理树信息，说明语言模型在许多情况下确实经历了多步推理过程，而非单纯记忆。
GSM8K数据集是什么？它对于评估语言模型的数学推理能力有什么意义？
GSM8K是一个包含8.5K高质量、语言多样的小学数学问题的数据集。它表明即使最大的变压器模型在多步数学推理上仍无法达到高测试性能，并推动了使用验证器通过排名选择最优解来提高性能的方法。
主动学习如何增强过程监督的效果？
文章发现主动学习可以有效增强过程监督的效果，但未详细说明具体机制。
