WorldAfford: 基于自然语言指令的可实施性落地
内容提要
本文探讨了如何利用预训练视觉语言模型提升对象可承受性接地任务的性能，提出了多种方法，如超现实视角的特定元素分割、物体感知知识的学习以及图神经网络推理等。这些方法在处理复杂场景和新物体时表现出色，有效结合语言与物理世界的互动，提升机器人技能的学习效率。
延伸解读
视觉语言模型在可承受性接地中的优势与局限
文章指出，预训练视觉语言模型能利用丰富的世界知识和人-物交互知识，在自然环境的对象可承受性接地任务上取得明显性能提升，甚至能对训练中未见的随机互联网图像进行接地。但研究也发现，预训练语言模型在处理不常见对象适用性时推理能力有限，视觉-语言模型也不一定能有效捕捉对象适用性。通过少样本微调可以改进这些模型的对象适用性知识。
跨视角知识迁移与数据集构建
文章介绍了从超现实视角进行可支配特定元素分割的任务，旨在仅利用支配标签学习超现实图像中特定物体的可支配性知识，并传递到以自我为中心的视角。另一项研究则从视外的人-物互动中学习物体感知知识，通过保留互动关联增强感知机会区域，实现交叉视角的感知知识迁移，并构建了AGD20K数据集。这些工作为知识迁移提供了数据基础。
环境约束与弱监督学习框架
针对特定环境下的行动问题，文章提到使用图神经网络对场景中的操作和物体可用性进行详细推理，解决不应采取某些行动及行动后果的问题。LOCATE框架采用图像级适应性和对象标签进行弱监督学习，将交互区域特征嵌入聚合为人类、对象部分和背景的原型，以指导功能接地。环境感知的可行性框架结合物体层面先验和环境约束，对单个遮挡物和复杂遮挡物组合场景具有良好的泛化效果。
连接语言模型与物理世界的尝试
文章指出，大型语言模型在语言任务上成功，但在生成控制序列时容易与物理世界互动失败，主要原因是LLM没有与物理世界紧密连接。为此，研究探索在无训练范式下促使预训练LLM完成机器人操作任务，通过刺激LLM预测生成计划的后果并为相关对象生成可供性值。实验证明，LLM+A在各种语言条件下的机器人操作任务中有效，能显著提高性能并轻松推广到不同环境。
Q&A
如何利用预训练视觉语言模型提升对象可承受性接地任务的性能？
通过挖掘超现实交互中的特定线索，利用丰富的世界知识和人-物体相互作用知识，模型在自然环境中展示出明显的性能提升。
AGD20K数据集的构建目的是什么？
AGD20K数据集旨在通过人-物互动学习物体感知知识，并将其转移到自我中心图像中，以增强感知机会区域。
LOCATE框架的主要功能是什么？
LOCATE框架通过图像级别的适应性和对象标签对交互区域进行特征嵌入，指导功能接地的弱监督学习。
图神经网络在物体可用性推理中如何应用？
图神经网络用于对场景中的操作和物体可用性进行详细推理，解决特定环境下的行动问题。
如何结合物体层面的可行先验和环境约束？
通过提出环境感知的可行性框架，在考虑环境约束的情况下学习可行性，适应复杂场景。
大型语言模型在机器人操作任务中面临哪些挑战？
大型语言模型在生成适当的控制序列时容易与物理世界互动失败，主要因为缺乏与物理世界的紧密连接。
