BriefGPT - AI 论文速递
·
Model2Scene: 通过对比学习语言 - CAD 模型预训练实现 3D 场景表示
💡
原文中文，约600字，阅读约需2分钟。
📝
内容提要
Model2Scene是一种新颖的三维场景感知方法，通过从CAD模型和语言中学习自由的三维场景表示来解决大规模标注点云的问题。该方法实现了无标签三维物体显著目标检测、标签高效三维场景感知和零样本三维语义分割。在ScanNet和S3DIS数据集上实现了令人印象深刻的结果。
🎯
关键要点
- Model2Scene是一种新颖的三维场景感知方法，旨在解决大规模标注点云的问题。
- 该方法通过从CAD模型和语言中学习自由的三维场景表示。
- 主要挑战包括CAD模型与真实场景对象之间的领域差异。
- Model2Scene通过混合数据增强的CAD模型模拟拥挤的场景。
- 提出了深凸包正则化（DCR）特征正则化操作，以减小领域差距。
- 对CAD模型的语言嵌入和点特征进行对比损失的预训练，形成3D网络。
- 实验证明学习到的三维场景表示对无标签三维物体显著目标检测等任务有益。
- Model2Scene在ScanNet和S3DIS数据集上实现了无标签三维物体显著目标检测，平均mAP分别为46.08%和55.49%。
- 代码将公开提供。
➡️
