NiteDR: 跨视传感器协作学习的动态驾驶场景夜间图像去雨
内容提要
本文综述了低能见度与降雨条件下的自动驾驶感知及图像去雨研究。主要工作包括：REDFormer融合相机与雷达提升低能见度3D检测；L²RIRNet、MvKSR、NightRain、PRRNet等处理低光降雨与视频去雨；DRET与SRKD结合动力学模拟和知识蒸馏增强雨天3D检测，在Waymo数据集上显著提升精度且不损失效率。
延伸解读
多传感器融合提升低能见度感知
文章提到REDFormer融合相机与雷达，在nuScenes数据集上验证，低能见度下检测精度优于其他先进模型。这表明多传感器融合能弥补单一传感器在恶劣天气下的不足，为自动驾驶感知提供更可靠的冗余。
夜间视频去雨的性能突破
NightRain方法使用无标签雨天视频训练，PSNR达到26.73dB，超过其他方法13.7%。这显示无监督学习在夜间去雨任务中的潜力，能减少对配对数据的需求，并有效处理复杂光效。
雨水模拟与知识蒸馏增强3D检测
DRET结合动力学模拟生成雨天数据，SRKD通过知识蒸馏提升雨天3D检测。在Waymo数据集上，与DSVT等模型结合能显著提高检测精度且不损失效率，同时晴天检测能力也有提升，提供全天候解决方案。
Q&A
REDFormer 是如何提升低能见度下的 3D 物体检测精度的？
REDFormer 是一种基于 Transformer 的 3D 物体检测模型，它通过融合鸟瞰视角的相机和雷达数据，在 nuScenes 数据集上验证，相比其他最先进模型，在低能见度条件下表现出更高的检测精度。
L²RIRNet 能同时处理低光和降雨吗？它有哪些配套工具？
是的，L²RIRNet 旨在同时处理低光和降雨任务。它还提出了两个有效工具：快速傅里叶-ResNet 的细节引导模块，以及低光-雨图像合成与真实数据集。
MvKSR 网络在恶劣天气下如何恢复退化图像？
MvKSR 是一种多视角知识引导的场景恢复网络，通过引导滤波和多视角特征融合模块，能够高效稳定地还原智能成像系统中恶劣场景下的退化图像。
NightRain 在夜间视频去雨方面取得了怎样的性能？
NightRain 是一种夜间视频去雨方法，使用自适应去雨和自适应校正处理复杂光效影响，通过无标签雨天视频训练，达到了 PSNR 26.73dB，超过其他方法 13.7%。
DRET 和 SRKD 如何增强雨天 3D 检测？在 Waymo 数据集上效果如何？
DRET 将动力学与雨天环境理论结合，提供经济高效的雨水模拟方法来扩展 3D 检测训练数据；SRKD 是一种从晴天到雨天的知识蒸馏方法，增强雨天 3D 检测。在 Waymo 数据集上，与 DSVT 等模型结合可显著提高检测准确性且不损失效率，还能提升晴天检测能力。
PRRNet 去雨网络有什么特点？它在哪些数据集上表现优异？
PRRNet 是一种配对去雨网络，利用语义信息和立体影像去除降雨图像，在单目和构建的立体降雨数据集上优于其他算法。
