💡
原文英文，约500词，阅读约需2分钟。
📝
内容提要
微软研究院推出rStar-Math框架，展示小型语言模型在数学推理中的优越能力，甚至超过大型模型。该框架采用蒙特卡洛树搜索（MCTS）方法，通过自我进化提升模型和训练数据质量。在多个数学基准测试中，rStar-Math表现出色，准确率显著提高，并作为开源项目供研究人员使用。
🎯
关键要点
- 微软研究院推出rStar-Math框架，展示小型语言模型在数学推理中的能力，甚至超过大型模型。
- rStar-Math采用蒙特卡洛树搜索（MCTS）方法，通过自我进化提升模型和训练数据质量。
- 该框架解决了数学专注AI模型开发中的关键挑战，包括高质量数据集的稀缺和构建稳健奖励模型的复杂性。
- 引入代码增强的CoT数据合成方法，通过MCTS生成验证的推理轨迹，确保高质量训练数据。
- 使用MCTS的Q值创建偏好对，改进过程偏好模型（PPM）的训练，提升模型评估步骤质量的能力。
- rStar-Math经过四轮迭代训练，逐步改进策略和奖励模型，从747,000个数学问题的数据集中生成更精细的数据。
- 在多个数学推理基准测试中，rStar-Math表现出色，Qwen2.5-Math-7B模型在MATH基准测试中的准确率从58.8%提高到90.0%。
- rStar-Math在美国数学奥林匹克（AIME）中取得53.3%的成功率，平均解决15道题中的8道。
- rStar-Math作为开源项目在GitHub上发布，允许研究人员和工程师探索和利用该框架。
➡️
