中科院与清华大学等提出的SE-Agent框架突破了Claude-4的编程限制，提升了多步推理能力，成功率提高20.6%。该框架通过轨迹协同进化优化解决方案，刷新了开源框架的性能记录，展现出智能体自我改进的潜力。

阿里推出的WebDancer是一款具备多步推理和自主决策能力的信息检索智能体，凭借创新的数据合成和ReAct框架，在复杂信息检索任务中表现出色，展现出强大的泛化能力。未来将集成更多工具，扩展任务范围，推动智能体发展。

大模型在法律推理中的应用面临挑战，最新的LEXam基准数据集旨在评估其能力。研究表明，现有LLM在复杂法律问题，尤其是多步推理方面表现不佳。LEXam提供高质量法律考试题目，帮助深入理解LLM的能力缺陷，并引入“LLM-as-a-Judge”模式以提升评估的透明性和可靠性。

本研究提出了AdvKT框架，旨在解决知识追踪模型在多步推理中的错误累积和数据稀疏性问题。通过对抗学习和数据增强，显著提升了智能辅导系统的推荐模型性能。

本研究提出了一种双重逆向链推理框架（DRCR），用于隐性情感分析，解决了捕捉微妙情感的难题。该框架结合对比推理和多步推理，显著提高了情感分类的准确性，并在多个模型上实现了先进性能。

本研究提出了DocPuzzle基准，用于评估大型语言模型在长篇上下文中的推理能力。基准包含100个需要多步推理的专家级QA问题。评估结果表明，慢思维推理模型优于一般指令模型，而蒸馏推理模型与教师模型之间存在显著差距。

本研究提出了一种名为FastMCTS的新采样策略，旨在解决合成多步推理数据中的低效和不平衡问题。实验结果表明，FastMCTS生成的正确推理路径比拒绝采样方法增加超过30%，并提升了模型性能3.9%。

本研究提出了大记忆模型（LM2），通过引入辅助记忆模块，克服了标准Transformer在多步推理和长上下文整合方面的局限性。实验结果表明，该模型在多跳推理和大上下文问答中表现优异。

本研究探讨了视觉语言模型（VLMs）在多步推理任务中的不足，并提出了一种评估其视觉推理能力的框架。研究表明，显式的图像到文本转换对任务的泛化能力至关重要。

本研究提出了AR-MCTS框架，结合主动检索与蒙特卡洛树搜索，以提升多步多模态推理的多样性和可靠性。

大型语言模型在开放主题的事实查询中常出现错误。研究提出了一种名为SAFE的方法，通过多步推理评估长篇回复的事实准确性。实验证明，SAFE在16k个事实集上超越人类标注者，且成本低20倍。基准测试显示，较大模型通常表现更佳。

本研究提出SIKeD方法，解决小型模型在多步推理中依赖单一策略的问题。通过大型语言模型指导小型模型进行迭代学习，实验证明SIKeD在数学推理数据集上的表现优于传统知识蒸馏技术。

扩大语言模型参数至数十亿，使上下文学习成为可能，提升翻译、摘要和问答性能。本文回顾提示推理的发展，探讨多步推理的方法和挑战，强调推理与提示学习的关系，并研究其与顺序决策和强化学习的联系。合理使用提示可实现自我改进，但真正的自我推理仍需进一步研究。

Ilya Sutskever 在 OpenAI o1 项目中的角色引起了关注。他合著的一篇题为《逐步验证》的论文探讨了提高大型语言模型多步推理能力的方法。研究发现，过程监督比结果监督更有效，并使用人类反馈数据来训练模型。o1 项目的其他贡献者包括 Jason Wei、Shengjia Zhao 和 Ren Hongyu。OpenAI o1 旨在从记忆答案转向记忆推理。