OmniNOCS:用于二维物体三维抬升的统一 NOCS 数据集与模型

💡 原文中文,约600字,阅读约需2分钟。
📝

内容提要

该文章介绍了OmniNOCS数据集,它是一个新的三维大规模单目数据集,比现有的NOCS数据集的对象类别多20倍,实例多200倍。研究人员使用OmniNOCS训练了一种新颖的基于转换器的单目NOCS预测模型(NOCSformer),可以准确预测NOCS、实例掩模和姿态。该模型在3D定向边界框预测任务上表现出色,并提供了详细准确的3D对象形状和分割。研究人员还提出了基于OmniNOCS的NOCS预测任务的新基准。

🎯

关键要点

  • OmniNOCS是一个新的三维大规模单目数据集,包含比现有NOCS数据集多20倍的对象类别和200倍的实例。

  • 研究人员使用OmniNOCS训练了一种新型的基于转换器的单目NOCS预测模型(NOCSformer)。

  • NOCSformer能够从2D对象检测中准确预测NOCS、实例掩模和姿态,适用于多种类别。

  • 这是首个能够以2D框为输入广泛泛化到各种类别的NOCS模型。

  • 在3D定向边界框预测任务上,NOCSformer与Cube R-CNN等最先进的3D检测方法表现相当。

  • NOCSformer还提供详细准确的3D对象形状和分割,区别于其他3D检测方法。

  • 研究人员提出了基于OmniNOCS的NOCS预测任务的新基准,期望成为未来相关工作的有用参考。

  • 数据集和代码将在项目网站上公开。

➡️

继续阅读