2D 提示自动进行 3D 形状标注的分割、提升和适配
内容提要
本文介绍了一种结合形状先验知识和几何参数的自动标注管道，利用2D检测器和稀疏LIDAR数据恢复3D形状。通过无监督学习和伪标签生成，提升了3D实例分割的准确性，并在多个数据集上展示了优越性能，推动了3D场景理解和自动驾驶技术的发展。
延伸解读
自动标注如何利用2D与LiDAR数据
文章提出的自动标注管道结合了形状先验知识和几何参数，从预训练的2D检测器和稀疏LiDAR数据中恢复3D形状。具体使用可微分形状渲染器到符号距离场（SDF），并引入归一化对象坐标空间（NOCS）来解决3D形状恢复问题。这种融合方式降低了对密集点云和人工标注的依赖，为自动驾驶场景中的3D理解提供了可扩展的标注思路。
无监督学习与伪标签提升分割精度
通过无监督学习和伪标签生成，该方法在3D实例分割任务上达到了91%的类别无关分割准确率。在SemanticKITTI基准测试中，相较于最佳基准模型，平均准确率提升了13.3%，F1分数提升了9.1%。这表明利用2D视觉基础模型生成3D监督信号，可以在无需手动标签的情况下有效训练分割模型，并支持任意类别提示。
Point-SAM与场景流伪标签的扩展应用
文章还介绍了3D可提示分割模型Point-SAM，它利用部分级和对象级注释从SAM中生成伪标签，将2D知识蒸馏到3D模型，在室内外基准测试中优于最先进模型。此外，通过自动标记生成LiDAR点云的三维场景流伪标签，在LiDAR KITTI数据集上将EPE3D度量值从0.190米降至0.008米，减少了10倍，且无需手动标记。
Q&A
这项研究提出了什么样的自动标注管道？
研究提出了一种结合形状先验知识和几何参数的自动标注管道，从2D检测器和稀疏LIDAR数据中恢复3D形状。
该方法在3D实例分割的准确性上达到了什么水平？
该方法在类别无关分割上达到了91%的准确率。
在SemanticKITTI基准测试中，该方法的表现如何？
在SemanticKITTI基准测试中，该方法相较于最佳基准模型获得了13.3%的平均准确率提升。
Point-SAM模型的优势是什么？
Point-SAM模型在室内和室外基准测试中优于最先进的模型，展示了多种应用潜力。
该研究如何利用无监督学习提升3D分割的效果？
研究通过无监督学习和伪标签生成，强化初始嘈杂的提议，以生成场景级实例分割。
该方法在LiDAR KITTI数据集上的表现如何？
在LiDAR KITTI数据集上，该方法将EPE3D度量值减少了10倍，表现出色，无需手动标记。
