具有融入字幕的可自解释性可行动性学习
内容提要
本文探讨了通过视觉契合指导机器人探索的方法，利用基于Transformer的模型学习条件分布，以提升机器人在多样化场景中的操作能力。提出的“实体说明”任务结合导航与视觉说明，帮助机器人主动探索复杂环境。此外，研究还涉及使用图神经网络推理操作和物体可用性，以及通过生成模型训练机器人在新环境中适应和执行任务。
延伸解读
视觉契合与组合泛化
文章提出通过学习视觉契合来指导机器人探索，并利用基于Transformer的模型在VQ-VAE潜在嵌入空间中学习条件分布。这种方法使模型具备组合泛化能力，训练后的契合模型可用于机器人操作策略学习中的目标抽样分布，从而提升机器人在多样化场景中的操作能力。
实体说明任务与ET-Cap数据集
针对视觉说明模型假设图像完美捕捉场景的局限，文章提出“实体说明”新任务，将视觉说明与导航能力结合，使机器人主动探索场景以减少次优视角的视觉模糊。为此构建了包含10K个混乱物体的3D场景和每个场景三个注释段落的ET-Cap数据集，并提出了级联实体说明模型CaBOT。
图神经网络与可供性学习
文章使用图神经网络对场景中的操作和物体可用性进行详细推理，解决特定环境下不应采取某些行动以及行动后可能发生情况的问题。同时，通过自我监督预训练从视觉领域获取行动效果相关的可供性知识，证实基于行动模式和效果模式的双重预训练任务比基于图像的视觉-语言模型及纯语言模型更有效。
内在动机与快速适应
文章提出使用内在动机指导移动机器人利用环境中可行的任务来自主学习并适应互相关联的任务。通过生成模型训练通用机器人学习视觉契合性表征，使其能在新环境中采样并进一步训练策略。实验表明，通过五分钟的在线学习，机器人就能在新场景下完成抽屉打开、抓取和放置等任务。
Q&A
如何通过视觉契合指导机器人探索？
通过学习基于Transformer的模型，机器人能够在VQ-VAE潜在嵌入空间中学习条件分布，从而提升操作能力。
什么是“实体说明”任务，它的目的是什么？
“实体说明”任务结合导航与视觉说明，旨在帮助机器人主动探索复杂环境，减少视觉模糊。
ET-Cap数据集的特点是什么？
ET-Cap数据集包含10K个混乱物体的3D场景和每个场景三个注释段落，支持“实体说明”任务的研究。
图神经网络在机器人学习中有什么应用？
图神经网络用于推理场景中的操作和物体可用性，帮助解决特定环境下的行动决策问题。
如何通过自我监督预训练方法获取可供性知识？
通过自我监督预训练方法，机器人从视觉领域获取与行动效果相关的可供性知识，验证双重预训练任务的有效性。
移动机器人如何利用内在动机进行自主学习？
移动机器人通过内在动机指导，利用环境中的可行任务来自主学习并适应互相关联的任务。
