利用自监督实例对比学习进行雷达物体检测
内容提要
该文综述雷达与多模态自动驾驶感知研究，提出自监督雷达预训练框架，结合雷达-视觉对比学习使目标检测mAP提升5.8%；并介绍CALICO多模态BEV统一预训练、无锚框雷达-激光融合检测、原始雷达张量深度学习检测、雷达4D检测数据增强，以及点云自监督预训练和车道检测自监督方法，验证其优越性。
延伸解读
自监督预训练如何提升雷达检测性能
文章提出的自监督框架利用无标签雷达数据预训练雷达嵌入，结合雷达对雷达和雷达对视觉的对比损失，从配对的无标签雷达热图和相机图像中学习通用表示。在下游目标检测任务中，该框架将现有监督基线的mAP提升了5.8%。这表明自监督预训练能有效缓解雷达数据标注昂贵的问题，为雷达感知模型提供可迁移的表示。
多模态融合与统一预训练的趋势
文章介绍了CALICO框架，它统一预训练多模态BEV感知，在LiDAR和相机骨干网络上应用对比目标进行教师模型蒸馏，提升了3D目标检测和BEV地图分割任务。此外，无锚框雷达-激光融合检测系统在牛津雷达机器人车数据集上，0.8 IoU下清晰和雾天分别比最佳现有技术提高14.4%和20.5%平均精度。这些工作显示多模态融合与统一预训练正成为自动驾驶感知的重要方向。
原始雷达数据与数据增强的进展
文章提到直接处理原始雷达张量的深度学习方法，在鸟瞰图空间放置概率定向边界框，仅用原始雷达数据在车辆检测上达到77.28% AP（3D IoU 0.3）。另一项工作利用雷达校准数据进行训练，引入新的雷达数据增强技术，在雷达4D检测任务上表现更优，减少了对昂贵校准工艺的需求。这些进展表明原始雷达数据与增强技术能提升检测性能并降低成本。
自监督学习在点云与车道检测中的扩展
文章还涉及点云自监督预训练和车道检测自监督方法。ProposalContrast通过对比区域建议学习3D表示，适应3D检测；表面重建预训练任务提升对象检测和场景语义分割。CLLD方法增强车道检测模型对低可见度条件的抵御能力，在阴影等情况下优于最先进对比学习方法。这些案例说明自监督学习在自动驾驶感知的多个任务中具有广泛适用性。
Q&A
雷达数据标注为什么困难？
雷达数据标注困难主要是因为大规模雷达数据昂贵且难以标注，这导致训练雷达模型存在瓶颈。
自监督雷达预训练框架如何提升目标检测性能？
该框架利用大量无标签雷达数据预训练雷达嵌入，结合雷达对雷达和雷达对视觉的对比损失，从配对的无标签雷达热图和相机图像中学习通用表示，在下游目标检测任务中使现有监督基线方法的mAP准确度提高了5.8%。
CALICO框架是什么？它有什么作用？
CALICO是一个用于多模态BEV感知的统一预训练框架，它应用对比目标在LiDAR和相机骨干网络上实现教师模型的对比蒸馏，成功提高了3D目标检测和BEV地图分割等任务的表现。
无锚框雷达-激光融合检测系统在雾天条件下的性能如何？
该系统在牛津雷达机器人车数据集上测试，在0.8 IoU下，清晰和雾天下分别比最佳现有技术方法提高了14.4%和20.5%的平均精度。
直接处理原始雷达张量的深度学习方法取得了什么成果？
该方法可直接处理原始雷达张量数据，在鸟瞰图空间中为检测到的目标放置概率定向边界框，仅使用原始雷达数据作为输入，在新建多模态数据集上取得了77.28% AP（3D IoU 0.3）的最佳性能。
雷达4D检测数据增强技术有什么优势？
该技术利用雷达校准数据进行训练，引入新的雷达数据增强技术，在雷达4D检测任务上验证了更优秀的性能，极大地减少了对昂贵的雷达校准工艺的需求，从而实现快速准确的示踪和分类检测。
