LoFormer：局部频率变换器用于图像去模糊
内容提要
本文介绍了多种基于 Transformer 的图像处理方法，如 Laplacian-Former、iFormer 和 HiFormer，旨在提升图像分割、超分辨率和去模糊等任务的性能。这些方法通过结合频率信息和多尺度特征，显著改善了医学图像及其他图像处理的效果。
延伸解读
频率视角下的Transformer改进
文章汇总的多项研究显示，Vision Transformer在捕捉图像高频组件方面存在局限，而高频信息对去模糊、超分辨率等任务至关重要。为此，研究者从频率域入手，如Laplacian-Former通过自适应重校准Laplacian金字塔中的频率信息增强自注意力，iFormer利用Inception mixer平衡高低频，CRAFT结合卷积与Transformer优势。这些方法共同指向一个趋势：通过显式频率建模弥补Transformer的不足。
多尺度特征融合策略
为提升分割与恢复性能，文章提及多种多尺度融合设计。Laplacian-Former使用增强多尺度桥梁传递空间信息；HiFormer通过Swin Transformer模块和CNN编码器构建两种多尺度表示，并引入Double-Level Fusion模块实现全局与局部特征的细粒度融合；医学图像分割方法则利用小波变换分解特征图，以高频和低频子带表示粗粒度和细粒度特征。这些策略旨在兼顾不同尺度的信息。
跨任务性能验证
文章列举的方法在多个任务上验证了有效性。Laplacian-Former用于肿瘤和皮肤病变分割；CRAFT在单图像超分辨率中参数更少且比最先进方法提升0.29dB；DEFormer提升暗部检测性能；全方位图像恢复方法在去噪、去雨、去雾和去模糊任务中优于现有方法；HiFormer在医学图像分割中计算复杂度、定量和定性结果均优于CNN、Transformer和混合方法。这些结果说明频率与多尺度结合具有泛化潜力。
Q&A
Laplacian-Former 是什么，它的主要功能是什么？
Laplacian-Former 是一种通过自适应重新校准 Laplacian 金字塔中的频率信息来增强自注意力图的技术，主要用于提升语义分割任务中的肿瘤和皮肤病变分割效果。
iFormer 如何改进图像分类任务的表现？
iFormer 采用基于 Inception 的 Transformer 架构，通过渐进降低高频分量和增加低频分量的结构，使网络能够更好地捕捉高频和低频信息，从而在图像分类任务中表现优秀。
CRAFT 方法在单图像超分辨率任务中有什么优势？
CRAFT 方法结合了卷积和 Transformer 结构的优势，在多个数据集上实验结果表明，它在参数更少的情况下比当前最先进的方法提高了 0.29dB，表现优越。
DEFormer 是如何提升暗部检测性能的？
DEFormer 是一种基于 DCT 的增强转换器，通过可学习的频率支路和交叉域融合，显著提升了暗部检测的性能。
全方位图像恢复方法的主要特点是什么？
全方位图像恢复方法利用视觉变换器处理多种退化类型，能够在去噪、去雨、去雾和去模糊任务中优于现有方法，并适应性地恢复退化的图像。
HiFormer 在医学图像分割中有什么创新之处？
HiFormer 通过使用 Swin Transformer 模块和基于 CNN 的编码器设计，提出了 Double-Level Fusion 模块，以确保全局和局部特征的细粒度融合，提升了医学图像分割的准确性。
