IRSRMamba: 基于 Mamba 的小波变换特征调制模型的红外图像超分辨率
内容提要
该研究提出了基于 Mamba 的图像恢复和分类模型，如 MambaIR 和 RSMamba，利用状态空间模型和卷积技术显著提升超分辨率和分类任务的效果。实验结果表明，这些模型在高分辨率远程感知图像和低光图像处理方面表现优越，具备良好的计算效率和性能。
延伸解读
Mamba 在图像恢复中的效率优势
文章指出，基于 Mamba 的模型如 MambaIR 在计算成本与 Transformer 模型 SwinIR 相似的情况下，峰值信噪比提高了 0.36dB。这得益于状态空间模型的线性复杂度，使其在处理高分辨率图像时内存消耗更低。对于需要处理大规模遥感图像或低光图像的应用，Mamba 架构在保持性能的同时能显著降低计算资源需求，具有实际部署的潜力。
多方向扫描克服单向建模限制
传统状态空间模型通常按单一方向处理序列，难以捕捉图像中多方向的依赖关系。VmambaIR 通过多方向扫描机制，有效建模图像信息在各个方向上的流动，从而在图像去雨、单幅图像超分辨率等任务上取得最先进性能。这一改进表明，针对图像数据的空间特性设计扫描策略，是提升 Mamba 类模型恢复能力的关键。
从分类到增强的跨任务扩展
文章列举了 Mamba 在多个视觉任务中的成功应用：RSMamba 通过动态多路径激活增强非因果数据建模，用于遥感图像分类；SpectralMamba 和 S^2Mamba 结合空间-光谱状态空间模型，提升高光谱图像分类和土地覆盖分析的效率；RetinexMamba 则融合 Retinex 理论与状态空间模型，在低光图像增强上优于现有方法。这些案例说明 Mamba 架构具有广泛的通用性。
Q&A
MambaIR 模型的核心组件是什么？
MambaIR 模型的核心组件是 Residual State Space Block。
MambaIR 相比于 SwinIR 有什么优势？
MambaIR 在计算成本相似的情况下，比 SwinIR 提高了 0.36dB。
DVMSR 网络的主要特点是什么？
DVMSR 是一种轻量级图像超分辨率网络，旨在最小化计算复杂度和网络参数以加速推理。
RSMamba 模型在图像分类方面的优势是什么？
RSMamba 通过动态多路径激活机制增强了对非因果数据的建模能力，展现出卓越的分类性能。
SpectralMamba 是如何进行高光谱图像分类的？
SpectralMamba 结合状态空间模型，通过学习动态掩膜和合并光谱的操作实现高光谱图像分类。
RetinexMamba 在低光图像增强方面的表现如何？
RetinexMamba 在低光图像增强方面表现优越，定量和定性指标均优于现有基于 Retinex 理论的深度学习方法。
