Q*: 改进 LLMs 的多步推理与计划
内容提要
本文探讨了大型语言模型（LLMs）在规划和推理任务中的应用及局限性，提出了LLM模块化框架，并结合外部验证器以增强推理能力。研究发现，LLMs在自主规划中表现有限，但在启发式模式下能改善其他智能计划器的效果。此外，介绍了新型推理框架RAP，展示了其在效率和准确性上的优势。
延伸解读
LLM规划能力的现实与误解
文章指出，自回归LLM本身无法进行规划或自验证，这是文献中常见的误解。在自主规划模式下，LLM表现非常有限，但在启发式模式下，其生成的计划可以改善其他智能计划器的搜索过程并提供反馈。这表明LLM更适合作为辅助工具，而非独立的规划器。
LLM-模块化框架与神经符号方法
作者提出LLM-模块化框架，将LLM的优势与外部基于模型的验证器结合，通过更紧密的双向交互增强推理能力。该框架利用LLM获得驱动外部验证器的模型，提供了更好的神经符号方法，扩展了基于模型的规划/推理范围，使知识、问题和偏好规范更灵活。
RAP框架的效率与准确性优势
文章介绍了基于Monte Carlo搜索算法的新型推理框架RAP，利用世界模型进行计划生成和复杂推理。在多个任务测试中，RAP在效率和准确率上都超过了Chain-of-Thought等现有方案。这展示了结合搜索算法与LLM的潜力，为复杂推理任务提供了新思路。
规划标记提升推理链一致性
研究发现LLM能处理个别推理步骤，但在保持整个推理链一致性方面存在困难。通过在每个推理步骤开始引入“规划标记”作为指南，并微调这些标记嵌入，仅增加0.001%的可训练参数，就能在三个数学问题数据集上显著提升准确性。这为改善LLM推理一致性提供了高效方案。
Q&A
大型语言模型在自主规划方面的表现如何？
大型语言模型在自主规划方面表现非常有限，但在启发式模式下能改善其他智能计划器的效果。
什么是LLM-模块化框架？
LLM-模块化框架将大型语言模型的优势与外部验证器结合，以增强推理能力。
RAP推理框架的优势是什么？
RAP推理框架在效率和准确性上优于现有方案，如Chain-of-Thought。
如何提高大型语言模型的推理准确性？
通过引入“规划标记”来指导推理步骤，可以显著提高模型的准确性。
LLMs在处理推理步骤时存在哪些困难？
LLMs能够处理个别推理步骤，但在保持整个推理链一致性方面存在困难。
LLMs如何与小型模型协作以改善推理能力？
大型语言模型可以在适当时机介入，指导较小模型回到正确的推理路径，从而提高性能。
