基于多尺度结构化状态空间模型的可扩展高效图像恢复
本研究提出了一种名为 Serpent 的架构,利用序列建模中的最新进展在核心计算模块中应用状态空间模型 (SSMs),以实现与最先进技术相媲美的重建质量,并且在需要更少的计算量(高达 150 倍的 FLOPS 减少)和更少的 GPU 内存(最多 5 倍)的同时维持一个紧凑的模型尺寸。
该研究提出了一种名为MambaIR的基准模型,通过引入Residual State Space Block和卷积和通道注意力增强了其能力,从而提高了恢复图像的特征表示。实验证明MambaIR在全局感受野下比基于Transformer的SwinIR模型提高了0.36dB。