自动学会工具解题，RL扩展催化奥数能力激增17%
💡
原文中文，约3800字，阅读约需9分钟。
📝
内容提要
研究团队提出了ToRL框架，通过强化学习使大模型自主探索工具使用策略，突破传统限制。实验表明，ToRL在数学推理任务中显著提高了准确率，展现了模型的自我修正和动态切换能力，推动了大语言模型的发展。
🎯
关键要点
- 研究团队提出ToRL框架，通过强化学习使大模型自主探索工具使用策略，突破传统限制。
- ToRL允许模型直接从基座模型开始，通过强化学习自主探索最优工具使用策略。
- ToRL在数学推理任务中显著提高了准确率，ToRL-7B在AIME24上达到了43.3%的准确率。
- ToRL打破了传统工具集成推理的性能天花板，模型自发涌现出工具选择直觉、自我修正能力和动态切换能力。
- ToRL框架结合了工具集成推理与直接从基座模型开始的强化学习，允许模型自主发现有效的工具使用策略。
- 实验结果显示，ToRL在所有测试基准上的表现优于基线模型，尤其在7B参数模型中表现显著。
- 随着训练步骤的增加，模型解决问题使用代码的比例和可正确执行的代码比例持续增长。
- 关键参数设置对模型性能有显著影响，增加工具调用次数C能提高性能，但降低训练速度。
- ToRL产生了多种认知行为，包括从代码执行结果获取反馈和通过代码与自然语言进行交叉检查。
- ToRL的研究结果展示了其在复杂推理方面的潜力，并为其他领域的工具学习开辟了新可能性。
❓
延伸问答
ToRL框架的主要创新点是什么？
ToRL框架允许模型直接从基座模型开始，通过强化学习自主探索最优工具使用策略，打破了传统的工具使用限制。
ToRL在数学推理任务中的表现如何？
ToRL-7B在AIME24上达到了43.3%的准确率，比不使用工具的基线模型提高了14%，比现有的工具集成大模型提高了17%。
ToRL如何提升模型的工具使用能力？
ToRL通过强化学习使模型自主探索工具使用策略，模型自发涌现出工具选择直觉、自我修正能力和动态切换能力。
ToRL的训练过程中有哪些关键发现？
随着训练步骤的增加，模型解决问题使用代码的比例和可正确执行的代码比例持续增长，显示出模型的编码能力增强。
ToRL的研究结果对其他领域有什么启示？
ToRL的研究结果为需要精确计算、模拟或算法推理的领域开辟了新可能性，如科学计算和经济建模。
ToRL框架是如何设计奖励机制的？
ToRL设计了基于规则的奖励函数，正确答案获得+1奖励，错误答案获得-1奖励，同时尝试了基于执行的惩罚。
➡️
