RadarCam-Depth: 雷达 - 相机融合用于学习度量尺度的深度估计
内容提要
该文综述雷达与相机融合的深度估计及三维检测研究：融合单目图像与雷达点云可提升深度精度；ClusterFusion通过雷达点云聚类提取局部特征，在nuScenes上达到48.7% NDS；SC-Depth利用无标注视频实现尺度一致的深度估计，并可集成SLAM；StableCamH借助物体高度先验实现尺度感知的单目深度估计。
延伸解读
雷达-相机融合的互补价值
文章指出，雷达与相机融合能利用两者互补性：相机提供密集但模糊的图像信息，雷达提供精确但稀疏的测量。这种互补在低能见度条件下尤其重要，且综合成本比激光雷达更低，使融合方案成为自动驾驶感知的可行选择。
ClusterFusion的局部特征策略
ClusterFusion在将雷达点云投影到图像平面前，先对点云聚类提取局部空间特征。研究发现，手工特征提取策略优于基于学习的策略或两者组合，并在nuScenes测试集达到48.7% NDS。这表明针对雷达点云局部结构的显式设计可能比纯学习方式更有效。
无监督尺度一致性的实用路径
SC-Depth仅用未标记视频训练，通过几何一致性损失和自我发现掩码处理移动物体，实现推理时尺度一致的深度预测。其尺度一致性使其能集成到ORB-SLAM2中，在KITTI上表现良好，并无需额外训练泛化到KAIST数据集，展示了实际部署潜力。
物体高度先验的尺度感知方法
StableCamH利用场景中物体高度的先验知识，将深度估计转化为相机高度优化，通过无监督端到端训练实现稳健估计。该方法还提出基于学习的尺寸先验，将车辆外观转化为尺寸，且训练框架可通用于任何单目深度估计方法，在KITTI和Cityscapes上验证了有效性和通用性。
Q&A
雷达和相机融合做深度估计有什么优势？
融合单目图像和雷达点云可以结合雷达精确但稀疏的测量与相机密集但模糊的视觉信息，从而提升深度估计的精度。例如在nuScenes数据集上，ClusterFusion方法取得了48.7%的NDS，优于单独使用相机或雷达。
ClusterFusion是怎么利用雷达点云进行3D检测的？
ClusterFusion先对雷达点云进行聚类，然后提取每个聚类的局部空间特征和逐点特征，再将特征投影到图像平面进行跨模态融合，用于单目相机的3D物体检测。在nuScenes测试集上NDS达到48.7%。
SC-Depth如何实现尺度一致的深度估计？
SC-Depth仅使用未标记的视频进行训练，通过几何一致性损失惩罚相邻视角间预测深度的不一致性，并自动发现移动对象生成掩码来减少噪声，从而在推理时实现尺度一致的深度预测。
StableCamH是怎么利用物体高度先验的？
StableCamH将深度估计问题转化为相机高度优化，利用场景中物体的高度先验知识，并通过无监督端到端训练实现稳健准确的尺度感知单目深度估计。它还提出了一种基于学习的尺寸先验方法，可直接将车辆外观转化为尺寸。
SC-Depth可以集成到SLAM系统中吗？效果如何？
可以。由于SC-Depth具有尺度一致性预测能力，其训练的单目深度网络能轻松集成到ORB-SLAM2系统中，形成混合Pseudo-RGBD SLAM，在KITTI上表现强劲，并能泛化到KAIST数据集而无需额外训练。
雷达相机融合在自动驾驶感知中有什么成本优势？
雷达和相机具有互补性，基于深度学习的融合方法能在低能见度条件下可靠地生成准确检测结果，且两种传感器的综合成本比激光雷达更便宜，因此成为自动驾驶车辆感知系统的首选。
