我们能依赖大型语言模型代理生成长远规划吗？以旅行规划者为例
内容提要
本文研究了大语言模型（LLMs）在规划任务中的能力，发现其自主生成可执行计划的成功率仅为3%。提出了LLM + P框架，结合经典计划器的优点，有效解决规划问题。AdaPlanner通过闭环反馈改进计划生成，实验表明其在复杂环境中表现优于现有算法。此外，研究探讨了LLMs与经典规划方法结合的潜力，提出了新方法SimPlan和PDoctor，以提高规划能力并检测错误。
延伸解读
LLM自主规划能力有限，混合方法成为突破口
文章指出，大型语言模型自主生成可执行计划的成功率仅约3%，表明其独立规划能力严重不足。为此，研究者提出LLM+P等混合框架，将经典规划器的优势与LLM结合，在多数问题上能提供最优解，而纯LLM甚至难以给出可行计划。这提示我们，在需要可靠规划的领域，不应完全依赖LLM自主决策，而应探索与符号规划方法的融合。
闭环反馈与技能发现提升复杂任务表现
AdaPlanner通过闭环反馈机制让语言模型智能体自适应地改进计划，并借助技能发现机制应对更复杂的环境。实验显示，在ALFWorld和MiniWoB++环境中，其性能优于现有基线算法。这说明，让LLM在规划过程中根据环境反馈动态调整，能有效弥补其一次性生成计划的缺陷，为构建更鲁棒的规划代理提供了思路。
错误检测与约束满足：PDoctor的实用价值
PDoctor将错误规划的检测建模为约束可满足性问题，通过定义领域特定语言和合成输入，能有效识别代理规划中的多种错误，并为开发者和用户提供错误特征与洞察。这一方法强调了在LLM规划系统中，自动化验证与错误诊断的重要性，有助于提升规划结果的可靠性和可调试性。
旅行规划：检验LLM规划能力的理想场景
文章将多阶段旅行规划视为一个有意义且具挑战性的测试平台，并开发了类似人类规划模式的框架。实验表明，该框架与GPT-4-Turbo结合能在旅行计划任务中取得显著性能提升。这提示我们，旅行规划涉及多约束、多阶段决策，是评估和改进LLM规划能力的合适场景，未来可在此类任务中进一步验证混合方法的有效性。
Q&A
大语言模型在自主生成可执行计划方面的成功率是多少？
大语言模型自主生成可执行计划的成功率仅为3%。
LLM + P框架的主要优势是什么？
LLM + P框架结合了经典计划器的优点，能够通过自然语言描述有效解决规划问题。
AdaPlanner是如何改进计划生成的？
AdaPlanner通过闭环反馈机制自适应地改进生成的计划，在复杂环境中表现优于现有算法。
SimPlan方法的目的是什么？
SimPlan旨在提高大语言模型的规划能力，并在具有挑战性的环境中评估其性能。
PDoctor方法是如何检测错误规划的？
PDoctor将错误规划的检测建模为约束可满足性问题，能够有效检测代理规划中的多种错误。
大语言模型与经典规划方法结合的潜力是什么？
结合大语言模型与经典规划方法的混合方法可以提高规划能力，克服大语言模型的局限性。
