PhyGrasp: 基于物理信息的大型多模态模型的机器人抓取泛化
内容提要
该文综述机器人抓取研究进展，提出GRASP基准评估视频多模态大模型的语言与物理理解并揭示现有模型缺陷，同时介绍模拟到现实迁移、RGB-D轨迹生成、DexGraspNet灵巧抓取数据集、GRAB人手抓取数据集、点云通用抓取、人类示范抓取、Lang-SHAPE语言引导抓取及强化学习动态抓取等方法。
延伸解读
GRASP基准的评估方法与发现
GRASP基准通过Unity模拟构建两级评估：第一级测试模型将简单文本描述与视觉信息关联的语言理解能力；第二级评估对物体永恒性、连续性等直观物理原理的理解。研究用该基准评估了多个最新多模态大模型，发现它们在语言理解和直观物理方面存在重大缺陷。这凸显了此类基准对于监测未来模型进展的必要性。
模拟到现实迁移在抓取中的实践
文章介绍了一种基于数据生成和模拟到真实世界迁移学习的机器人抓取框架，旨在减少模拟与实际之间的差距，解决数据稀疏、传感器数据和接触模型不准确等问题。在单一物品、复杂形状物品和多物品场景下，分别取得了90.91%和85.71%的高成功率，展示了迁移学习在抓取任务中的有效性。
灵巧抓取数据集与语言引导方法
DexGraspNet是一个大规模机器人灵巧抓取数据集，通过高效合成方法生成，可普遍应用于任何灵巧机械手，相比以往数据集具有更多物体和抓取、更高多样性和质量。Lang-SHAPE则是语言引导的形状抓取数据集，用于学习3D部件的affordance和抓握能力，并设计了PIONEER两阶段网络进行测试，在参考标识、affordance推理和3D部分感知抓握方面表现良好。
人类示范与点云通用抓取
通过简单人类示范，一种方法利用小型RGB-D图像序列构建手和物体网格模型，估计物体姿态并转移抓取指令，无需大量标注且不受特定几何形状限制。另一项研究使用点云观测学习通用灵巧抓取，将任务分为抓取提案生成和目标条件抓取执行两阶段，用目标条件策略取代运动规划以提高通用性，实现了普适性抓取。
Q&A
GRASP基准是什么？它如何评估多模态大模型？
GRASP是一个用于评估基于视频的多模态大语言模型的语言理解和物理理解能力的新基准。它通过Unity模拟技术，采用两级方法进行评估：第一级测试语言理解能力，即模型将简单文本描述与视觉信息联系起来的能力；第二级评估模型对直观物理原理（如物体的永恒性和连续性）的理解能力。
当前多模态大模型在语言理解和直观物理方面表现如何？
评估揭示了当前模型在语言理解和直观物理方面存在重大缺陷。这些限制凸显了像GRASP这样的基准对于监测未来模型在这些能力上的进展的重要性。
如何解决机器人抓取中模拟到现实迁移的挑战？
提出了一种基于数据生成和模拟到真实世界迁移学习的机器人抓握框架，通过减少模拟和实际之间的差距，解决了数据稀疏、传感器数据和接触模型不准确等问题。在单一物品、复杂形状物品和多物品的机器人抓握场景下分别获得了90.91%、85.71%的高成功率。
DexGraspNet数据集有什么特点？
DexGraspNet是一个大规模机器人灵巧抓取数据集，由高效合成方法生成，可普遍应用于任何灵巧的机械手。它比以前的具有更多物体和抓取、更高的多样性和质量，并通过多个算法在本数据集上进行的训练，大幅提高了机器人灵巧抓取的准确性。
如何通过人类示范实现机器人抓取？
通过简单的人类示范，提出了一种既不需要大量标注图像，也不受特定几何形状限制的机器人抓取方法：利用一个小的RGB-D图像序列构建相关的手和物体网格模型，然后在当前环境中估计物体的姿态并转移所需的抓取指令。
Lang-SHAPE数据集和PIONEER网络是什么？
Lang-SHAPE是一个大型语言引导的形状抓取数据集，用于学习3D部件的affordance和抓握能力。PIONEER是一种新颖的两阶段细粒度机器人抓握网络，用于模型测试。结果表明，该方法在参考标识、affordance推理和3D部分感知抓握方面实现了令人满意的性能和效率。
