SAMPro3D：用于零样本场景分割的三维 SAM 提示定位

我们引入了 SAMPro3D 来进行零样本 3D 室内场景分割，通过将预训练的 Segment Anything Model (SAM) 应用于 2D 帧，在 3D 点云和多个姿态的 2D 帧的基础上对 3D 场景进行分割。我们的关键思想是将场景中的 3D 点作为自然的 3D 提示，对其在帧间的投影像素提示进行对齐，确保像素提示和其通过 SAM 预测的掩码在帧间的一致性。此外，我们建议根据所有 2D 帧的反馈滤除低质量的 3D 提示，以提高分割质量。我们还建议，如果不同的 3D 提示正在分割相同的对象，要进行融合，实现更全面的分割。值得注意的是，我们的方法不需要在领域特定数据上进行额外的训练，从而保留了 SAM 的零样本能力。广泛的定性和定量结果显示，我们的方法始终比先前的零样本或完全监督方法具有更高的质量和更多样的分割性能，在许多情况下甚至超过人类级别的注释。项目页面可以通过此 https URL 访问。