使用参考引导的转换器改进图像去雨效果
内容提要
本文介绍了多种图像去雨算法，包括基于Gabor滤波器的Gabformer、条件生成对抗网络ID-CGAN和高阶协同网络等。这些方法通过优化损失函数、自我监督学习和改进网络结构，显著提升了去雨效果和模型性能，在多个基准测试中表现优异。
延伸解读
技术演进：从滤波器到Transformer
文章梳理了图像去雨算法的发展脉络：早期ID-CGAN（2017）基于条件生成对抗网络优化损失函数；随后ResGuideNet（2018）引入残差引导和级联网络；UD-GAN（2018）利用自监督解决标注缺失；近年则出现Gabformer（2024）结合Gabor滤波器增强纹理聚焦，以及基于Swin-transformer的三分支模型（2021）在公开数据集上实现先进性能和较快推理。这一演进反映了从手工特征到深度学习、再到Transformer架构的转变。
自监督与无监督：缓解数据依赖
图像去雨面临真实成对数据难以获取的挑战。文章提到UD-GAN利用自监督限制实现无监督去雨，在多种基准测试和训练设置下表现卓越；高阶协同网络也通过自我监督学习提升性能。这些方法减少了对标注数据的依赖，为实际应用提供了更可行的方案，但文章未具体说明其在不同雨型或真实场景下的泛化能力。
多尺度与特征融合策略
为提升去雨效果，研究者探索了多尺度约束和特征融合。高阶协同网络引入多尺度紧凑约束和双向尺度内容相似度挖掘模块；ResGuideNet通过级联网络和轻深度残差引导深层块逐步预测高质量重建；另有方法通过替换低质量特征的潜在高质量特征并引入闭环反馈解决模型误差和特征嵌入问题。这些策略旨在捕捉不同尺度的雨痕信息并优化特征表示。
评估基准与性能表现
文章提及多个公开数据集用于评估去雨算法，如Rain100L、Rain100H和Rain3000。基于Swin-transformer的三分支模型在这些数据集上表现出先进性能和较快推理速度；Gabformer在基准测试中优于最先进方法；ID-CGAN在综合定量和视觉性能上优于其他单幅图像去雨方法。此外，在CVPR 2023 UG2+ Track 3 GT-Rain Challenge中，两阶段框架在平均SSIM上获得第一名，平均PSNR上获得第二名。
Q&A
Gabformer是如何改善图像去雨效果的？
Gabformer通过引入Gabor滤波器增强局部纹理特征聚焦，改善模型对噪声的鲁棒性。
ID-CGAN与其他去雨算法相比有什么优势？
ID-CGAN优化了细化的损失函数，综合性能优于其他单幅图像去雨方法。
高阶协同网络是如何提高去雨效果的？
高阶协同网络通过多尺度紧凑约束和双向尺度内容相似度挖掘模块来提高去雨效果，并利用自我监督学习提升模型性能。
ResGuideNet的设计特点是什么？
ResGuideNet通过级联网络和轻深度残差引导深层块逐步预测高质量重建，表现优于石墨和真实数据。
UD-GAN解决了哪些问题？
UD-GAN利用自监督限制解决了单幅图像去雨中的标注监督约束缺失问题，表现出卓越的去雨效果。
使用Swin-transformer模型的改进方法有什么效果？
该方法在多个公开数据集上表现出先进性能和较快推理速度。
