DPAFNet: 单图像去雨的双路径注意力融合网络
内容提要
该文综述多种深度学习图像去雨方法：DAiAM采用双注意力网络分别处理雨滴与雨痕，D-DAiAM改进难处理区域；小波通道注意力融合网络结合小波变换去雨；DRANet用双分支残差注意力去噪；多子网络跨尺度融合方法用GRU融合特征；MH2F-Net通过多尺度分层融合捕捉雨滴特征；NASNet用神经元注意力分阶段处理多种雨模型；AFNet以多路径编码与注意力融合用于遥感图像；DerainNet用合成数据训练提升真实去雨；基于模型的深度网络自动提取雨核；数据驱动与模型结合方法融合CNN与注意力机制。
延伸解读
技术路线概览：从双注意力到多尺度融合
文章梳理了多种深度学习去雨方法，核心差异在于网络结构与注意力机制的设计。DAiAM用双注意力分别处理雨滴和雨痕，D-DAiAM针对难处理区域改进；小波通道注意力融合网络结合小波变换；DRANet采用双分支残差注意力；多子网络方法用GRU跨尺度融合；MH2F-Net通过多尺度分层融合捕捉雨滴特征。这些方法反映了去雨研究从单一网络向多分支、多尺度、注意力融合演进的趋势。
注意力机制与多尺度融合的实践价值
多个方法强调注意力机制的作用：DAiAM区分重雨与轻雨区域，NASNet引入神经元注意力分阶段处理多种雨模型，AFNet用多路径注意力融合块融合特征。多尺度融合则通过不同尺度特征互补提升雨表示能力，如多子网络方法设计内部尺度连接块，MH2F-Net采用残差投影特征融合策略。这些设计有助于网络聚焦雨相关特征，但实际效果仍取决于数据集和训练策略。
合成数据与真实场景的差距
DerainNet使用合成数据训练以提升真实数据去雨效果，基于模型的深度网络自动提取雨滴核和接近算子，在实际情况中表现更好。数据驱动与模型结合的方法融合CNN与注意力机制。这表明单纯依赖合成数据可能受限，结合物理模型或真实数据特性有助于泛化。但文章未提供各方法在统一基准下的对比，读者需注意不同实验设置下的性能差异。
Q&A
DAiAM网络是如何同时处理雨滴和雨痕的？
DAiAM包含两个DAM（双注意力模块），分别用于消除雨滴和雨痕。它通过两个关注映射，分别关注重雨区域和轻雨区域，进行不同的去雨处理。此外，还提出了D-DAiAM来解决一些难以处理的区域，并在实验中取得了最先进的效果。
小波通道注意力融合网络在去雨时使用了什么技术？
该网络利用小波变换和逆小波变换来恢复图像，并结合通道注意力机制，从而在降雨噪声图像去噪方面取得了比现有方法更好的效果。
DRANet如何提升图像去噪效果？
DRANet通过增宽网络结构并引入注意力机制来获得更好的去噪效果。实验证明，相比于其他已有方法，DRANet能更好地处理合成和真实场景下的噪声。
多子网络跨尺度融合方法中使用了什么来融合特征？
该方法使用门控循环单元（GRU）对多个子网络进行跨尺度融合，并设计了一种内部尺度连接块，通过不同尺度之间的特征融合来提高雨的表示能力，实验结果表明其性能优于现有方法。
MH2F-Net是如何捕捉雨滴特征的？
MH2F-Net通过多尺度提取、分层蒸馏和信息聚合来准确捕捉雨滴特征，并采用残差投影特征融合策略逐步区分特征学习和聚合不同特征。与最新的去雨算法相比，在合成和真实数据集上展示了有效性。
NASNet在处理多种雨模型任务时有什么特点？
NASNet是一种端到端的神经元注意力阶段网络，包含轻量级神经元注意力（NA）架构机制和阶段性统一模式网络架构，能够在处理复杂雨天图像时有效提高图像质量。
AFNet在遥感图像处理中取得了怎样的性能？
AFNet采用多路径编码器结构提取特征，并使用多路径注意力融合块和细化注意力融合块融合特征。在ISPRS Vaihingen 2D数据集上达到91.7%的整体精度和90.96%的平均F1分数，在ISPRS Potsdam 2D数据集上达到92.1%的整体精度和93.44%的平均F1分数，取得了最先进的性能。
DerainNet如何提高真实数据上的去雨效果？
DerainNet使用合成数据进行训练，从而提高了真实数据上的去雨效果，并在计算时间方面得到了显著提高。
基于模型的深度神经网络在单图像去雨中有何优势？
该网络使用具有解释性和恰当物理结构的数据结构，通过端到端训练自动提取所有雨滴核和接近算子，在单图像去雨任务上实现了最先进性能，特别是在实际情况下具有更好的去雨性能。
数据驱动与基于模型结合的方法是如何实现去雨的？
该方法通过使用CNN、高频信息提取、特征转换以及使用注意机制的神经网络，将数据驱动与基于模型的方法相结合，实现了优异的去雨效果。
