北大千问团队推出数学专用版CriticGPT，找茬让大模型进步更快
内容提要
北大千问团队推出了数学专用版CriticGPT，名为Math-Minos。该模型通过引入逐步的自然语言反馈作为理由标签，提供更深入的解释，丰富了验证器的训练信息。Math-Minos在ORM和PRM任务设置中展现出了优越的性能，特别是在ORM设置中。研究团队希望这项工作能够推动大型语言模型在复杂推理任务上的能力。
延伸解读
自然语言反馈如何提升验证器
现有数学验证器多依赖二元分类标签，只能判断对错，无法解释错误原因，监督信号稀疏。Math-Minos引入逐步自然语言反馈作为理由标签，不仅指出正误，还逐步分析错误原因，丰富了训练信息。这种反馈通过监督式微调注入模型，再结合ORM和PRM训练，使验证器在推理时无需生成解释，兼顾效果与效率。
性能提升与任务差异
在Best-of-256设置下，Math-Minos对Mistral-7B的准确率提升因任务而异：ORM设置中GSM8K从86.2%到87.3%，MATH从35.9%到37.4%；PRM设置中提升较小；与Self-Consistency结合时GSM8K达88.2%。这表明自然语言反馈在ORM设置中收益更明显，且与推理策略结合能进一步释放潜力。
错误类型分析揭示推理难点
研究将步骤级错误分为无关、累积、计算、逻辑和其他五类。累积错误占比最高，即一步错可能导致后续全错，凸显逐步反馈的必要性。错误分布随数据集难度变化：简单GSM8K中计算错误更多，困难MATH中逻辑错误更多。这提示改进验证器需针对不同错误类型和任务难度设计反馈。
元评估与扩展潜力
通过构建元评估集，团队在不受生成器影响下评估验证器判断最终答案的能力。Math-Minos在训练中一致优于传统ORM，收敛更快、判断更准，并展现出较强的Scale Up潜力。这表明自然语言反馈与分类式验证器的结合，可能成为提升大模型复杂推理能力的新范式。
Q&A
Math-Minos是如何提升数学验证器性能的？
Math-Minos通过引入逐步的自然语言反馈作为理由标签，提供更深入的解释，丰富了验证器的训练信息，从而提升了性能。
Math-Minos在GSM8K数据集上的准确率提升了多少？
Math-Minos将Mistral-7B在GSM8K数据集上的准确率从86.6%提升到88.2%。
现有的数学验证器存在哪些局限性？
现有的数学验证器大多依赖二元分类标签，无法提供充分的监督信号，导致在解释正确或错误原因上存在不足。
Math-Minos的训练方法有什么创新之处？
Math-Minos通过监督式微调和ORM、PRM训练，结合自然语言反馈，提供了一种新的训练范式。
在ORM和PRM任务设置中，Math-Minos的表现如何？
Math-Minos在ORM和PRM任务设置中均展现出优越的性能，特别是在ORM设置中改进更为显著。
研究团队对生成器错误的分析结果是什么？
研究团队将生成器在步骤级别产生的错误归类为五种类型，并发现累积错误在所有错误类型中占比最高。
