图像超分辨率变换：基于 ConvFormer 的高效方法
内容提要
该文综述了多种图像超分辨率方法：ESRT混合CNN与Transformer主干，显存占用低、成本低；CRAFT结合卷积与Transformer优势，参数更少且提升0.29dB；SCET利用像素关注与高效变换器恢复纹理；FSRCNN以极小参数取得良好效果；循环网络融合跨尺度特征与非局部注意力；A²F网络高效准确；SPIFFNet用于遥感图像；SSR仅重构选定图块，FID由26.78降至10.41、计算成本减少40%；MSFIN为轻量多尺度方法，性能可比。
延伸解读
方法演进：从混合架构到选择性重构
文章梳理的超分辨率方法呈现出两条清晰的技术路线。一条是混合架构，如ESRT、CRAFT和SCET，试图结合CNN的局部建模与Transformer的长程依赖捕捉能力，以较低计算成本逼近甚至超越纯卷积或纯Transformer模型。另一条是效率优化路线，FSRCNN以极小参数实现良好效果，MSFIN追求轻量化，而SSR则跳出全图重构思路，仅处理选定图块，在特定数据集上大幅降低计算量并改善FID。
效率与精度的权衡：不同场景的取舍
各方法在效率与精度上的侧重不同。ESRT强调低显存占用和低计算成本；CRAFT在参数更少的情况下比当时最先进方法提升0.29dB；SSR将计算成本减少40%，FID从26.78降至10.41，但仅重构选定图块，适用于大图像中局部区域增强。FSRCNN和MSFIN则面向资源受限场景。读者需注意，这些指标来自各自论文的实验设定，跨方法直接比较需谨慎。
领域专用与通用方法的差异
SPIFFNet专门面向遥感图像超分辨率，引入跨空间像素整合和跨阶段特征融合注意力，以提升全局认知和特征表达能力。这与通用自然图像超分辨率方法的设计目标不同，遥感图像的地物结构和尺度特性可能使专用网络更具优势。文章未提供SPIFFNet与通用方法在自然图像上的对比，因此其收益应限定在遥感场景理解。
Transformer在超分辨率中的能力边界
文章引用的一项研究发现，Transformer结构更擅长捕捉低频信息，但在构建高频表示方面容量有限，不如卷积模型。这解释了为何CRAFT等混合方法要综合卷积与Transformer的优势。该发现提示，单纯堆叠Transformer未必能提升超分辨率的高频细节恢复，架构设计需考虑频段分工。不过，这一结论来自特定研究设定，并非对所有Transformer超分辨率方法的普遍定论。
Q&A
ESRT 是如何在低计算成本下实现高效超分辨率的？
ESRT 是一种混合模型，由轻量级 CNN 主干和轻量级变换器主干组成，并采用特殊设计的高效多头注意力（EMHA），从而占用较小的 GPU 内存，在低计算成本下取得有竞争力的结果。
CRAFT 方法相比现有超分辨率方法有什么优势？
CRAFT 综合了卷积和 transformer 结构的优势，在多个数据集上实验表明，在参数更少的情况下比当前最先进的方法提高了 0.29dB。
SCET 网络如何恢复图像纹理细节？
SCET 通过采用像素关注机制提取图像特征，并使用高效变换器获取相似的长距离特征，从而恢复足够的纹理细节，在不同环境下获得更出色的性能。
SSR 算法解决了传统超分辨率方法的哪些问题？
SSR 通过将图像分割为不重叠图块、使用金字塔结构选择感兴趣图块并仅重构这些选定图块，解决了常规方法放大整个大图像时计算成本巨大以及在背景细化中引入额外或有害信息的问题。
SSR 在 BDD100K 数据集上的具体效果如何？
在 BDD100K 数据集上，与最先进的方法相比，SSR 的 FID 评分从 26.78 降低到 10.41，计算成本减少了 40%。
MSFIN 网络如何实现轻量级且性能可比？
MSFIN 通过扩展感受野、利用来自各种尺度的低分辨率观察图像的信息特征以及交互连接，并设计轻量级的循环残差通道注意块（RRCAB），使网络受益于通道注意机制同时保持足够轻量级，从而以更轻量的模型实现可比性能。
