晴转暴雨：跨天气知识蒸馏实现鲁棒 3D 目标检测
内容提要
该文综述了提升恶劣天气下自动驾驶感知鲁棒性的方法，包括基于物理模拟的LiDAR雨雪雾点云增强、图像雨渲染与合成数据生成、领域自适应目标检测框架及夜间跨视图去雨技术。实验表明，合成数据增强和领域自适应能显著提高雨雪雾中3D检测与语义分割性能。
延伸解读
合成数据增强的实际效果
文章提到，通过物理模拟生成的雨雪雾LiDAR点云和图像数据，能显著提升模型在恶劣天气下的性能。例如，在nuScenes数据集上，使用雨渲染增强数据后，物体检测性能提高了15%，语义分割提高了35%。这表明合成数据是弥补真实恶劣天气数据不足的有效手段，但需注意这些提升是在特定数据集和任务上取得的，实际部署时仍需验证泛化能力。
领域自适应的作用与局限
文章介绍了领域自适应框架，通过图像级和目标级自适应减少雾天和雨天的领域差异，并引入对抗梯度翻转层挖掘困难样本。这种方法在公开基准测试中提高了目标检测性能。然而，领域自适应通常需要目标域数据参与训练，且对极端天气的适应能力可能有限，实际应用中需结合具体场景调整。
夜间去雨的技术路线
针对夜间雨水导致的图像退化，文章提出跨视图融合可见光和红外图像的去雨框架，以去除雨痕并恢复信息。实验证明该方法在低光强雨水环境下有效，弥补了现有去雨算法在低光条件下的不足。这提示多模态融合是解决夜间恶劣天气感知的重要方向，但红外与可见光的配准和融合效率仍需优化。
Q&A
在恶劣天气下，如何提升基于LiDAR的3D目标检测的鲁棒性？
文章综述了多种方法，包括基于物理模拟的LiDAR点云增强（如蒙特卡罗混合方法模拟雨雪雾）、图像雨渲染与合成数据生成、领域自适应目标检测框架，以及夜间跨视图去雨技术。这些方法通过合成数据增强和领域自适应，能显著提高雨雪雾中3D检测与语义分割性能。
合成数据增强如何帮助自动驾驶在雨雪天气中的目标检测？
通过物理模拟生成雨雪雾等恶劣天气的合成数据，用于训练3D目标检测模型。实验表明，使用合成数据增强的模型在Waymo开放数据集的雨天序列中性能显著提升，并且在nuScenes数据集上，物体检测性能提高了15%，语义分割性能提高了35%。
领域自适应目标检测框架如何应对雾天和雨天的挑战？
该框架利用图像级和目标级自适应来减少图像风格和目标外观的领域差异，并引入对抗梯度翻转层在困难样本上进行对抗挖掘，同时通过数据增强生成辅助领域以强制实施新的领域级度量规则。实验表明，在自动驾驶应用的领域转移场景中显著提高了目标检测性能。
夜间雨水环境下，如何通过跨视图融合提升图像质量？
开发了一个夜间行驶场景下的图像去雨框架，通过可见光和红外图像的跨视图融合，去除雨痕、丰富场景表征并恢复有用信息。实验证明，该跨视图合作学习方法在低光强雨水环境下具有较好效果，弥补了现有去雨算法在特定低光条件下的利用缺口。
基于物理的雨渲染技术如何用于评估计算机视觉算法？
通过物理粒子模拟器和精确的雨光度建模，向晴朗天气图像中添加任意数量逼真雨或雾，生成合成数据集。利用这些数据评估深度物体检测和语义分割算法，表明算法性能随恶劣天气增加而降低，但在增强数据上微调可获得较高性能提升。
如何利用气象学先验知识提升恶劣天气下的目标检测性能？
提出了一种基于先验、领域对抗的目标检测框架，使用气象学原理获得的天气特定先验知识来定义新的先验对抗损失，并引入残差特征恢复块来去除特征空间中的扭曲。在多个数据集上的评估证明了该方法的有效性。
