SM$^3$: 基于多视角二维图像的自监督多任务建模对关节物体

原文约400字，阅读约需1分钟。发表于：。

在机器人领域中，重建现实世界物体并估计其可移动关节结构是核心技术。我们提出了一种自我监督的交互感知方法 SM$^3$，通过利用交互前后捕捉的多视角 RGB 图像，来建模关节物体、识别可移动组件和推断旋转关节参数。通过从捕捉到的 2D 图像中构建 3D 几何和纹理，SM$^3$ 在重建过程中实现可移动组件和关节参数的综合优化，无需注释。此外，我们还引入了 MMArt 数据集，它是 PartNet-Mobility 的扩展，包含多视角和多模态的涵盖多种类别的关节物体数据。评估结果显示，在各个类别和物体上，SM$^3$ 优于现有的基准，并且其在现实场景中的适应性已经得到了充分验证。

该研究提出了一种自我监督的交互感知方法SM$^3$，用于重建机器人领域中的物体和估计其可移动关节结构。该方法利用多视角RGB图像建模关节物体、识别可移动组件和推断旋转关节参数。研究还引入了MMArt数据集，评估结果显示SM$^3$在各个类别和物体上优于现有基准，并在现实场景中得到了验证。