TACO：通用双手工具 - 动作 - 对象理解的基准评估
内容提要
该文综述机器人操作与手-物交互研究，涵盖：用图神经网络训练机器人学习常识与工具使用并泛化到工具缺失情形；提出VTacO/VTacOH视触重建框架与VT-Sim数据集；发布HANDAL可操作物体姿态与可供性数据集；无3D监督优化自然场景手-物互动重建；提出DexArt关节物体操作基准；用合成数据生成逼真抓取；提出HOLD单目视频手与物体联合重建；并研究交互对象跟踪及基于物理约束的重建。
延伸解读
从工具使用到关节物体：研究覆盖的多样性
文章列举了多个研究项目，时间跨度从2019年到2023年，涉及工具使用常识学习、视触对象重建、可操作物体数据集、手-物互动重建、关节物体操作基准、合成抓取数据、单目视频联合重建、交互对象跟踪以及物理约束重建。这些工作共同指向机器人操作与手-物交互的多个子问题，但彼此之间相对独立，读者需注意它们并非同一系统的组成部分，而是该领域不同方向的代表性成果。
数据与基准：推动可复现评估的基础设施
文中提到的HANDAL数据集包含212个真实物体、17个类别、2.2k个视频和308k个标注帧，专注于适合机器人操纵的硬件和厨房工具；DexArt则是一个针对关节物体操作的基准。这些数据与基准的发布有助于统一评估标准，但文章也指出HANDAL的标注过程虽简化，仍需解决一些瓶颈以推动此类数据集的普及化。读者可关注这些资源在后续研究中的实际采用情况。
减少对真实标注的依赖：合成数据与无监督方法
多个工作尝试降低对真实3D标注的依赖：VTacO/VTacOH利用VT-Sim生成大规模训练数据；抓取生成框架仅用合成数据训练，在模拟和真实系统中与依赖真实人类动作数据的方法相媲美；HOLD无需3D手物体注释即可从单目视频中联合重建手和物体；还有基于优化的方法在无直接3D监督下重建自然场景手-物互动。这些方法展示了合成数据和无监督/弱监督策略的潜力，但其泛化能力和在更复杂场景下的表现仍需进一步验证。
Q&A
TACO 基准主要评估什么？
TACO 是一个通用双手工具-动作-对象理解的基准评估，旨在评估机器人对工具、动作和对象的理解能力。
VTacO 和 VTacOH 是什么？
VTacO 是基于 DIGIT 触觉传感器的视触对象重建框架，VTacOH 是其扩展，用于手-物体重建。它们通过 VT-Sim 模拟环境生成大规模训练数据集，在刚性和不可变形物体重建上表现优异。
HANDAL 数据集有什么特点？
HANDAL 是用于类别级物体姿态估计和可用性预测的数据集，专注于适合机器人操纵的可操作物体（如钳子、器具、螺丝刀）。它包含来自 212 个真实世界物体的 17 个类别的 2.2k 个视频的 308k 个带注释图像帧，注释过程简化，只需一台现成摄像机和半自动处理，无需众包。
如何在没有 3D 监督的情况下重建自然场景中的手-物互动？
通过基于优化的过程，不需要直接的 3D 监督，利用所有可用的相关数据提供 3D 重建的约束条件。该方法在 EPIC Kitchens 和 100 Days of Hands 数据集上产生了引人注目的重建效果。
DexArt 基准研究什么？
DexArt 是一个新的基准测试，研究具有关节物体的熟练操作的通用性。它使用强化学习和三维表示学习来实现泛化，并提供了 3D 表示学习如何影响决策制定的新见解。
HOLD 方法如何从单目视频中重建手和物体？
HOLD 是第一个无需 3D 手物体注释就能从单目交互视频中复原联合的手和物体的方法。它使用组合的隐式模型从 2D 图像中复原解缠细分的 3D 手和物体，并结合手物体约束来改善复原质量，在实验室和真实环境中优于全监督基线方法。
