InfoQ
·
微软研究院推出rStar-Math：推动小型语言模型的数学推理能力
内容提要
微软研究院推出rStar-Math框架，展示小型语言模型在数学推理中的优越能力，甚至超过大型模型。该框架采用蒙特卡洛树搜索（MCTS）方法，通过自我进化提升模型和训练数据质量。在多个数学基准测试中，rStar-Math表现出色，准确率显著提高，并作为开源项目供研究人员使用。
关键要点
-
微软研究院推出rStar-Math框架，展示小型语言模型在数学推理中的能力，甚至超过大型模型。
-
rStar-Math采用蒙特卡洛树搜索（MCTS）方法，通过自我进化提升模型和训练数据质量。
-
该框架解决了数学专注AI模型开发中的关键挑战，包括高质量数据集的稀缺和构建稳健奖励模型的复杂性。
-
引入代码增强的CoT数据合成方法，通过MCTS生成验证的推理轨迹，确保高质量训练数据。
-
使用MCTS的Q值创建偏好对，改进过程偏好模型（PPM）的训练，提升模型评估步骤质量的能力。
-
rStar-Math经过四轮迭代训练，逐步改进策略和奖励模型，从747,000个数学问题的数据集中生成更精细的数据。
-
在多个数学推理基准测试中，rStar-Math表现出色，Qwen2.5-Math-7B模型在MATH基准测试中的准确率从58.8%提高到90.0%。
-
rStar-Math在美国数学奥林匹克（AIME）中取得53.3%的成功率，平均解决15道题中的8道。
-
rStar-Math作为开源项目在GitHub上发布，允许研究人员和工程师探索和利用该框架。
延伸问答
rStar-Math框架的主要功能是什么？
rStar-Math框架展示了小型语言模型在数学推理中的能力，甚至超过大型模型。
rStar-Math是如何提升模型和训练数据质量的？
rStar-Math采用蒙特卡洛树搜索（MCTS）方法，通过自我进化来提升模型和训练数据的质量。
rStar-Math在数学基准测试中的表现如何？
rStar-Math在多个数学基准测试中表现出色，Qwen2.5-Math-7B模型的准确率从58.8%提高到90.0%。
rStar-Math如何解决高质量数据集稀缺的问题？
rStar-Math引入代码增强的CoT数据合成方法，通过MCTS生成验证的推理轨迹，确保高质量训练数据。
rStar-Math的开源情况如何？
rStar-Math作为开源项目在GitHub上发布，允许研究人员和工程师探索和利用该框架。
rStar-Math在美国数学奥林匹克中的表现如何？
在美国数学奥林匹克（AIME）中，rStar-Math取得53.3%的成功率，平均解决15道题中的8道。
