OmniNOCS:用于二维物体三维抬升的统一 NOCS 数据集与模型
💡
原文中文,约600字,阅读约需2分钟。
📝
内容提要
该文章介绍了OmniNOCS数据集,它是一个新的三维大规模单目数据集,比现有的NOCS数据集的对象类别多20倍,实例多200倍。研究人员使用OmniNOCS训练了一种新颖的基于转换器的单目NOCS预测模型(NOCSformer),可以准确预测NOCS、实例掩模和姿态。该模型在3D定向边界框预测任务上表现出色,并提供了详细准确的3D对象形状和分割。研究人员还提出了基于OmniNOCS的NOCS预测任务的新基准。
🎯
关键要点
-
OmniNOCS是一个新的三维大规模单目数据集,包含比现有NOCS数据集多20倍的对象类别和200倍的实例。
-
研究人员使用OmniNOCS训练了一种新型的基于转换器的单目NOCS预测模型(NOCSformer)。
-
NOCSformer能够从2D对象检测中准确预测NOCS、实例掩模和姿态,适用于多种类别。
-
这是首个能够以2D框为输入广泛泛化到各种类别的NOCS模型。
-
在3D定向边界框预测任务上,NOCSformer与Cube R-CNN等最先进的3D检测方法表现相当。
-
NOCSformer还提供详细准确的3D对象形状和分割,区别于其他3D检测方法。
-
研究人员提出了基于OmniNOCS的NOCS预测任务的新基准,期望成为未来相关工作的有用参考。
-
数据集和代码将在项目网站上公开。
➡️