量子位
·
让Qwen2.5 7B超越o1，微软干的！MSRA推出小模型数学推理自我进化新方法
💡
原文中文，约5300字，阅读约需13分钟。
📝
内容提要
微软研究院推出的rStar-Math算法使Qwen2.5 7B模型在数学推理上超越o1-preview。通过蒙特卡洛树搜索和自我进化，rStar-Math显著提高了模型的准确率，解决了53.3%的AIME 2024难题，成为顶尖数学模型之一。
🎯
关键要点
- 微软研究院推出的rStar-Math算法使Qwen2.5 7B模型在数学推理上超越o1-preview。
- rStar-Math通过蒙特卡洛树搜索和自我进化显著提高了模型的准确率。
- 在AIME 2024测试中，rStar-Math平均解决了53.3%的难题，超过OpenAI o1-preview的44.6%。
- rStar-Math将Qwen2.5-Math-7B的准确率从58.8%提升至90.0%。
- rStar-Math采用了代码增强CoT、过程奖励模型训练和四轮自我思维深度进化等创新方法。
- 通过MCTS生成逐步验证的推理轨迹，确保每一步推理的正确性。
- PPM通过构建步骤级的正负偏好对来训练模型，提供细粒度的步骤级反馈。
- 四轮自我思维深度进化显著提升了模型的推理能力，最终在747k数学题上取得90.25%的成绩。
- rStar-Math在多个数学基准测试中表现出强大的通用性，验证了自进化和PPM的有效性。
❓
延伸问答
rStar-Math算法的主要创新点是什么？
rStar-Math算法的主要创新点包括代码增强CoT、过程奖励模型训练和四轮自我思维深度进化。
Qwen2.5 7B模型在AIME 2024测试中的表现如何？
在AIME 2024测试中，Qwen2.5 7B模型通过rStar-Math算法平均解决了53.3%的难题，超过了OpenAI o1-preview的44.6%。
rStar-Math如何提高模型的推理准确率？
rStar-Math通过蒙特卡洛树搜索和自我进化显著提高了模型的推理准确率，将Qwen2.5-Math-7B的准确率从58.8%提升至90.0%。
rStar-Math在数学基准测试中的表现如何？
rStar-Math在多个数学基准测试中表现出强大的通用性，验证了自进化和过程奖励模型的有效性。
rStar-Math是如何处理数学推理中的步骤反馈问题的？
rStar-Math通过构建步骤级的正负偏好对来训练过程偏好模型，提供细粒度的步骤级反馈，帮助模型做出更优选择。
微软研究院推出rStar-Math的背景是什么？
微软研究院推出rStar-Math是为了让小语言模型在数学推理能力上与大模型相媲美，甚至超越，而无需依赖高级教师模型。
➡️
