BriefGPT - AI 论文速递
·
探索未触及的扫描，用于冲突感知的 3D 分割预训练
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
该文章介绍了一种新型的三维无监督框架（UOV），通过学习未标注数据的点云表征，实现了高质量的点云分割。该框架结合了2D开放词汇模型和图像特征，采用了三模态对比预训练（TMP）和异态知识蒸馏的方法。实验证明，UOV在点云分割任务上表现优越，取得了创纪录的mIoU。同时，在微调阶段也取得了显著的结果。
🎯
关键要点
-
提出了一种新型的三维无监督框架（UOV），通过学习未标注数据的点云表征。
-
框架结合了2D开放词汇模型的高质量文本和图像特征，采用三模态对比预训练（TMP）。
-
利用点云和图像之间的空间映射生成伪标签，实现异态知识蒸馏。
-
引入近似平面交互（AFI）来解决对齐噪声和标签混淆问题。
-
在nuScenes的点云分割任务上，UOV实现了创纪录的47.73%的mIoU，超过之前最好模型10.70%的mIoU。
-
在nuScenes和SemanticKITTI上使用1%的数据进行微调，取得了51.75%和48.14%的mIoU，超过所有之前的预训练模型。
➡️
