异步计划推理中的图增强大语言模型
内容提要
大型语言模型在常识规划中自主生成可执行计划的能力有限，成功率仅约3%，更适合翻译和启发式辅助。研究还涉及图推理、空间推理及人机协作规划，并提出改进提示与评估框架。
延伸解读
自主规划成功率仅3%的启示
文章指出，大型语言模型在常识规划任务中自主生成可执行计划的成功率仅约3%，表现非常有限。这一数据提醒我们，当前LLM在需要多步推理和常识结合的规划场景中仍不可靠，直接依赖其输出可能导致任务失败。因此，在实际应用中应谨慎评估LLM的自主规划能力，避免过度信任。
启发式辅助：LLM的更佳角色
尽管自主规划表现不佳，但LLM在启发式模式下能生成计划以改善其他智能规划器的搜索过程，并提供反馈以验证计划质量。这表明LLM更适合作为辅助工具，与专用规划器协同工作，而非独立承担规划任务。这种分工可以发挥LLM的常识和语言优势，同时弥补其推理短板。
图增强与空间推理的进展与局限
文章提到，通过图学习模型与LLM融合的GraphLLM方法，在图推理任务上平均准确率提升54.44%，并减少96.45%的上下文。然而，在空间推理方面，微调的LLM在小环境或有障碍物时难以泛化。这说明图增强能提升特定任务表现，但泛化能力仍是挑战，需针对具体场景调整。
评估框架与提示敏感性的警示
研究提出了可扩展的评估框架，并发现现有推理基准过于简单化，无法支持对LLM推理能力的夸张说法。同时，LLM对提示信息敏感，在涉及数字或物理推理时可能失败。这提示研究者和开发者需设计更严谨的评估方法，并注意提示工程对结果的影响，避免因基准缺陷而高估模型能力。
Q&A
大型语言模型在常识规划任务中的自主规划能力如何？
大型语言模型在自主生成可执行计划方面的能力非常有限，成功率仅约3%。
大型语言模型在规划任务中更适合扮演什么角色？
大型语言模型更适合进行翻译和启发式辅助，而不是自主规划。在启发式模式下，LLM生成的计划可以改善其它智能计划器的搜索过程并提供反馈以进一步验证计划质量。
大型语言模型在将自然语言目标翻译成结构化计划语言时表现如何？
大型语言模型更适合进行翻译而不是规划。它们能够利用常识知识和推理填补自然语言目标中缺失的细节，但在涉及数字或物理推理的任务中可能会失败，并且对所使用的提示信息很敏感。
有哪些方法可以提升大型语言模型在图推理任务上的表现？
NLGraph基准提出了两种基于指令的方法：Build-a-Graph Prompting和Algorithmic Prompting，可将LLM在多个任务和设置中的性能提升3.07%到16.85%。此外，GraphLLM通过将图学习模型与LLM融合，在多个基础图推理任务上实现了平均准确率提高54.44%和上下文减少96.45%。
大型语言模型在空间推理和路径规划方面有哪些进展和局限？
大型语言模型在路径规划和空间推理方面取得了显著成功，少样本的GPT-4通过不同的提示方法在空间推理方面表现出了潜力，而微调的LLM则在小环境或有障碍物的情况下难以推广。
如何利用大型语言模型进行人机协作规划？
使用大型语言模型的互动规划技术，通过机器人收集环境中缺失的信息并推断底层问题的状态，从而指导机器人执行所需的动作。
