量子位
·
她如何把“系统2”带给了大模型 ｜对话微软亚洲研究院张丽
内容提要
张丽及其团队在微软亚洲研究院引入“System2”概念，提升大模型的深度推理能力。通过蒙特卡洛搜索算法，7B模型的数学推理能力接近OpenAI的o1，激发了学术界的广泛讨论。她指出智商和推理能力是大模型应用的关键，未来将继续优化奖励模型并扩展任务领域。
关键要点
-
张丽及其团队在大模型领域引入了System2概念，提升了深度推理能力。
-
通过蒙特卡洛搜索算法，7B模型的数学推理能力接近OpenAI的o1，激发了广泛讨论。
-
研究方向包括提升模型的记忆能力和深度推理能力。
-
rStar-Math是第一个通过蒙特卡洛搜索算法实现接近o1级别数学推理的工作。
-
System2被认为是大模型应用的关键，智商和推理能力是核心因素。
-
模型的self-reflection能力被认为是提升智商的关键能力。
-
蒙特卡洛搜索算法的奖励模型与传统的Best of N奖励模型有根本区别。
-
rStar-Math在合成数据方面表现优异，主要得益于过程奖励模型和蒙特卡洛搜索算法的结合。
-
未来的研究将继续优化奖励模型，提升策略模型能力，并扩展任务领域。
-
数学推理被认为是大语言模型中最具挑战性的任务，代表了智商的天花板。
延伸问答
System2概念在大模型中的重要性是什么？
System2被认为是大模型应用的关键，智商和推理能力是核心因素，能够提升模型的深度推理能力。
rStar-Math是如何实现接近OpenAI o1级别的数学推理能力的？
rStar-Math通过蒙特卡洛搜索算法，让7B模型实现了接近OpenAI o1级别的数学推理能力。
张丽团队在研究中遇到的主要质疑是什么？
主要质疑是小模型能力如何如此强大，以及该方法是否能泛化到其他任务。
蒙特卡洛搜索算法与传统奖励模型的区别是什么？
蒙特卡洛搜索算法的奖励模型是步骤级别的过程奖励模型，而传统的Best of N奖励模型是结果奖励模型，不关注过程。
未来的研究方向将集中在哪些方面？
未来将继续优化奖励模型，提升策略模型能力，并扩展任务领域，特别是高难度的代码推理任务。
为什么数学推理被认为是大语言模型中最具挑战性的任务？
数学推理要求程序执行能力和逻辑严谨性，是智商的天花板，且许多复杂证明需要极高的智力。
