支持不完整用户查询的 LLM + 推理 + 规划在 API 存在的情况下
内容提要
本研究探讨大型语言模型（LLMs）在规划任务中的应用，发现其在将自然语言目标转化为结构化计划方面表现有限，尤其在数字和物理推理任务中。通过结合传统规划器与LLMs，提出了LLM + P框架，有效解决规划问题。此外，研究开发了基于LLMs的计划能力评估，显示自主生成可执行计划的成功率仅约3%。
延伸解读
LLM规划能力的真实水平
文章指出，大型语言模型在自主生成可执行计划方面成功率仅约3%，表现非常有限。这提醒我们，尽管LLM在自然语言理解和生成上表现出色，但在需要严格逻辑和步骤规划的领域，其能力仍远未达到实用水平。读者应避免高估LLM的自主规划能力，尤其在数字或物理推理任务中，模型容易失败。
LLM+P框架：互补而非替代
LLM+P框架将传统规划器与LLM结合，利用LLM的常识推理和翻译能力，将自然语言目标转化为规划问题，再由经典规划器求解。实验表明，该框架能为大多数问题提供最优解，而纯LLM甚至难以给出可行计划。这说明当前阶段，LLM更适合作为传统规划方法的辅助工具，而非完全替代。
启发式模式：LLM的实用切入点
虽然LLM自主规划表现不佳，但在启发式模式下，LLM生成的计划可以改善其他智能规划器的搜索过程，并提供反馈以验证计划质量。这为LLM在规划任务中的应用提供了更现实的路径：不直接生成最终计划，而是作为启发式信息源，辅助传统规划器提升效率。
PLaG技术：进展与局限
Plan Like a Graph (PLaG) 结合图形与自然语言提示，在异步规划推理任务上取得了最先进的结果。然而，随着任务复杂性增加，LLM性能仍会严重退化，凸显了利用LLM模拟数字设备的局限性。这表明，尽管提示工程能带来提升，但LLM在复杂规划任务中的根本限制尚未解决。
Q&A
大型语言模型在规划任务中的表现如何？
大型语言模型在将自然语言目标转化为结构化计划方面表现有限，尤其在数字和物理推理任务中。
LLM + P框架的优势是什么？
LLM + P框架结合了传统规划器的优点，能够通过自然语言描述解决规划问题，并提供大多数问题的最优解。
自主生成可执行计划的成功率是多少？
自主生成可执行计划的成功率仅约为3%。
如何改善大型语言模型的规划能力？
通过结合传统规划器与LLMs，利用LLMs的常识推理能力，可以改善规划能力。
Plan Like a Graph (PLaG)技术的作用是什么？
PLaG技术结合图形与自然语言提示，提升了模型性能，但在任务复杂性增加时仍存在局限性。
LLMs在自主规划和启发式模式下的表现如何？
LLMs在自主规划方面表现非常有限，但在启发式模式下可以改善其他智能计划器的搜索过程。
