ContrastCAD:基于对比学习的计算机辅助设计模型表示学习

💡 原文中文,约500字,阅读约需2分钟。
📝

内容提要

本文介绍了一种名为Model2Scene的新方法,通过学习CAD模型和语言中的三维场景表示,解决了CAD模型与真实场景对象之间的领域差异。该方法通过混合数据增强的CAD模型模拟拥挤的场景,并使用深凸包正则化操作减小领域差距。实验证实该方法在无标签三维物体显著目标检测、标签高效三维场景感知和零样本三维语义分割等任务中具有益处。

🎯

关键要点

  • 当前三维场景感知方法依赖于大规模标注的点云,获取过程费时费力。
  • 本文提出了Model2Scene,一种从CAD模型和语言中学习三维场景表示的新方法。
  • 主要挑战是CAD模型与真实场景对象之间的领域差异。
  • Model2Scene通过混合数据增强的CAD模型模拟拥挤场景。
  • 提出深凸包正则化(DCR)操作,减小领域差距。
  • 对CAD模型的语言嵌入和点特征进行对比损失的预训练,形成3D网络。
  • 实验证实Model2Scene在无标签三维物体显著目标检测等任务中的益处。
  • Model2Scene在ScanNet和S3DIS数据集上实现了46.08%和55.49%的平均mAP。
  • 代码将公开提供。
➡️

继续阅读