WaveletFormerNet:基于 Transformer 的用于真实世界非均质和密集雾去除的小波网络
内容提要
该文综述了基于小波变换的图像复原研究,涵盖去雾、去噪及恶劣天气图像修复等任务。代表性工作包括:DW-GAN利用离散小波变换保留高频信息去雾;小波通道注意力融合网络用于降雨图像去噪;两分支网络结合DWT与ConvNeXt处理非均质去雾;GridFormer、RSFormer等Transformer框架用于恶劣天气图像修复;EWT以DWT/IWT降采样加速去噪;DehazeFormer改进去雾并构建遥感数据集;WaveCNets以DWT替代池化提升抗噪性。
延伸解读
小波变换为何受青睐
文中多项工作利用离散小波变换(DWT)处理图像复原任务,核心原因在于DWT能保留高频信息,而高频细节对去雾、去噪等至关重要。例如DW-GAN在DWT分支中保留高频,WaveCNets用DWT替代池化提升抗噪性。这表明小波变换在频域分离上的优势,使其成为改进CNN和Transformer复原性能的常用工具。
Transformer与CNN的融合趋势
从GridFormer、RSFormer到DehazeFormer,Transformer框架被广泛用于恶劣天气图像修复。同时,RSFormer结合ConvNets与Vision Transformers,EWT用DWT加速Transformer,显示研究倾向于融合两者优势:Transformer捕捉全局依赖,CNN或小波变换提升效率与局部细节。这种混合设计在去雾、去雨雪等任务中成为主流思路。
效率与实用性的权衡
EWT通过DWT/IWT降采样和升采样,将Transformer速度提升超80%,GPU内存减少超60%,同时保持良好去噪效果。这提示实际部署中,小波变换可作为降低计算成本的手段。类似地,WaveCNets以DWT替代池化提升鲁棒性,说明在追求性能的同时,效率优化也是研究重点,尤其对高分辨率图像或资源受限场景有参考价值。
Q&A
WaveletFormerNet 这篇论文主要研究什么?
WaveletFormerNet 提出了一种基于 Transformer 的小波网络,用于真实世界非均质和密集雾去除。文章综述了基于小波变换的图像复原研究,涵盖去雾、去噪及恶劣天气图像修复等任务。
有哪些基于小波变换的去雾方法?
代表性工作包括:DW-GAN 利用离散小波变换保留高频信息去雾;两分支网络结合 DWT 与 ConvNeXt 处理非均质去雾;DehazeFormer 改进去雾并构建遥感数据集。
小波变换在图像去噪中有什么应用?
小波通道注意力融合网络利用小波变换和逆小波变换恢复图像,结合通道注意力,在降雨噪声图像去噪上优于现有方法;EWT 使用 DWT/IWT 降采样和升采样加速去噪;WaveCNets 以 DWT 替代池化提升抗噪性。
Transformer 在恶劣天气图像修复中有哪些应用?
GridFormer 采用网格结构和残差密集 Transformer 块,在五种图像修复任务上达到最先进结果;RSFormer 结合 ConvNets 和 Vision Transformers,用于消除雨迹和雪花;DehazeFormer 改进去雾模型。
EWT 方法有什么特点和效果?
EWT 使用离散小波变换和反小波变换进行降采样和升采样以实现图像降噪,并提出双流特征提取块在不同级别提取特征。实验表明,该方法比原始 Transformer 速度提高超过 80%,GPU 存储器使用量减少超过 60%,并取得良好的去噪结果。
WaveCNets 如何提升 CNN 的抗噪性能?
WaveCNets 通过离散小波变换代替传统的 max-pooling、strided-convolution 和 average-pooling 来提高卷积神经网络的抗噪性能,并用于图像分类。实验证明,WaveCNets 相比 VGG、ResNets 和 DenseNet 等传统版本具有更好的噪声鲁棒性和准确性。