探索未触及的扫描,用于冲突感知的 3D 分割预训练
原文中文,约400字,阅读约需1分钟。发表于: 。利用视觉基础模型,从未被开发的帧中精选 LiDAR 和图像配对,通过语义掩码标签设计交叉的跨模态冲突感知对比损失,提出了一种新颖的 LiDAR - 相机 3D 表示预训练方法,在三个主要自动驾驶公开数据集(nuScenes、SemanticKITTI 和 Waymo)的 3D 语义分割任务中相对于现有的最先进预训练框架提升了 3.0%〜3.3%的 mIoU。
该文章介绍了一种新型的三维无监督框架(UOV),通过学习未标注数据的点云表征,实现了高质量的点云分割。该框架结合了2D开放词汇模型和图像特征,采用了三模态对比预训练(TMP)和异态知识蒸馏的方法。实验证明,UOV在点云分割任务上表现优越,取得了创纪录的mIoU。同时,在微调阶段也取得了显著的结果。