量子位
·
北大千问团队推出数学专用版CriticGPT，找茬让大模型进步更快
💡
原文中文，约2100字，阅读约需5分钟。
📝
内容提要
北大千问团队推出了数学专用版CriticGPT，名为Math-Minos。该模型通过引入逐步的自然语言反馈作为理由标签，提供更深入的解释，丰富了验证器的训练信息。Math-Minos在ORM和PRM任务设置中展现出了优越的性能，特别是在ORM设置中。研究团队希望这项工作能够推动大型语言模型在复杂推理任务上的能力。
🎯
关键要点
- 北大千问团队推出数学专用版CriticGPT，名为Math-Minos。
- Math-Minos通过逐步的自然语言反馈提供更深入的解释，丰富了验证器的训练信息。
- 在GSM8K数据集上，Math-Minos将Mistral-7B的准确率从86.6%提升到88.2%。
- 现有的数学验证器依赖二元分类标签，无法提供充分的监督信号。
- Math-Minos克服了这一局限，提供了逐步分析错误原因的能力。
- 研究团队通过监督式微调和ORM、PRM训练提升了模型的评估能力。
- 在ORM和PRM任务设置中，Math-Minos展现出优越的性能，特别是在ORM设置中。
- 研究团队分析了生成器在步骤级别产生的错误，强调了自然语言反馈的重要性。
- Math-Minos在训练过程中的元评估一致优于传统的ORM，展现出更快的收敛速度和更精准的判断能力。
- Math-Minos的开发为自然语言处理领域提供了一种新的训练范式，推动大型语言模型在复杂推理任务上的能力。
🏷️
标签
➡️
