由实际到逻辑再到实践：从原始数据中创造符号词汇、行动和模型的规划方法
内容提要
本文综述学习规划表示的研究，涵盖：结合组合与图像方法学习动作模板，从非符号输入推断一阶符号表示以实现类型泛化与即时泛化；用语言模型自动构建任务规划表示；以多任务策略学习运动表示并规划；自我学习任务无关状态抽象；弥合抽象动作推理与机器人执行的差距；评估表示维度、可观测性与分离度；用符号自动机替代马尔可夫奖励；以范畴论和图形语法建模PDDL。
延伸解读
从感知到符号：弥合规划表示的关键鸿沟
文章指出，规划器通常使用一阶符号表示，但机器人感知输入是非符号的。研究通过从编码状态空间结构的非符号输入中学习完整的一阶表示（包括动作模式、关系符号和对象），解决了图像与符号之间的鸿沟。这一方向对于实现从原始数据到符号规划的端到端学习具有重要意义，也是后续类型泛化和即时泛化的基础。
泛化能力：类型泛化与即时泛化的机制
文章提到，通过给定实体层次结构和观察到的相似行为，可以泛化符号动作。在虚拟网格化厨房环境中，智能体能够从少量观察中学习到类型泛化的动作，并在规划过程中引入即时泛化机制，从而解决包括更长序列、新实体和未预期环境行为的未见任务组合。这表明泛化不仅依赖于符号表示，还需要在规划中动态适应新情况。
语言模型与多任务策略：规划表示的新途径
文章综述了两种构建规划表示的方法：一是使用语言模型从任务通用的背景知识中自动构建特定任务的规划表示，在基准任务上表现出更准确的计划和更好的任务复杂性泛化能力；二是通过多任务策略网络输入状态和任务嵌入，得到有意义的运动表示空间，并在此基础上进行高级别指令的执行规划，实验结果表明该方法优于现有强基线方法。这些方法展示了利用大规模先验知识和多任务学习来提升规划性能的潜力。
评估与形式化：表示质量与规划框架的演进
文章系统评估了多种学习和手工工程化的表示方法，从维度、可观测性和分离度三个方面进行评估，发现将表示作为输入或辅助任务可以显著提高性能，并挑战了什么是控制机器人“好”表示的见解。此外，文章还介绍了用符号自动机替代马尔可夫奖励以提高强化学习收敛性，以及采用范畴论和图形语法对PDDL进行建模，通过将行动视为字面意义之间的映射来描述动作依赖性和方案选择。这些工作推动了规划表示的形式化和评估标准的发展。
Q&A
如何从图像等非符号输入中学习一阶符号表示？
通过将规划器使用的一阶符号表示从编码状态空间结构的非符号输入中学习，推断出完整的一阶表示（包括一般动作模式、关系符号和对象）来解释观察到的状态空间结构，从而弥合图像与符号之间的鸿沟。
符号动作的泛化机制是怎样的？
提出了一种通过给定实体层次结构和观察到的相似行为来泛化符号动作的新概念，在虚拟网格化厨房环境中能从少量观察中学习到类型泛化的动作，并在规划过程中引入即时泛化机制，解决包括更长序列、新实体和未预期环境行为的未见任务组合。
语言模型如何用于自动构建任务规划表示？
Ada 使用语言模型从任务通用的背景知识中自动构建特定任务的规划表示，与其他使用语言模型进行顺序决策的方法相比，在两个基准任务上表现出更准确的计划和更好的任务复杂性泛化能力。
如何学习运动表示并用于高级规划？
通过多任务策略网络输入状态和任务嵌入的方法得到有意义的运动表示空间，并在此基础上进行高级别指令的执行规划，实验结果表明该方法优于现有强基线方法，具有较强的任务适应能力。
如何自我学习任务无关的状态抽象？
提出了一个框架来自我学习代理环境的状态抽象，这些抽象是任务无关的可重用的，从而显著提高了学习效率和代理任务解决的能力。
如何弥合抽象动作推理与机器人执行之间的差距？
在抽象层次上，复杂动作被视为原子原语，但执行时涉及多步骤、额外时态前提和时间约束，且可能有噪声。论文提出了几种方法来填补这个差距，并在三个机器人任务中系统评估了多种表示方法，从维度、可观测性和分离度三个方面评估，发现输入代理或作为辅助任务时可显著提高性能。
符号自动机如何替代马尔可夫奖励？
本文提出使用符号自动机的形式规范来代替马尔可夫奖励，并定义了使用潜在奖励的策略，以提高强化学习的收敛性。
范畴论和图形语法如何用于PDDL建模？
采用范畴论的数学理论和图形语法对PDDL中的领域、问题和计划进行模型建模，通过将行动视为不同字面意义之间的映射，以描述动作之间的依赖性和选定的方案，并提供了一种图形语法和线性记法，以便推断计划的每一步所使用的替代方案。
