通过小波损失训练变压器模型提高单幅图像超分辨率的定量和视觉效果
内容提要
本文探讨了基于小波域损失函数的超分辨率模型训练，提出了WaveMixSR架构，利用离散小波变换提升性能。研究设计了新的关注区块和Hybrid Attention Transformer模型，结合局部与全局特征，显著改善了超分辨率模型在真实世界图像上的适应能力和细节恢复能力。
延伸解读
小波域损失函数的优势
文章指出，使用小波域损失函数训练基于GAN的超分辨率模型，能更好地区分高频细节与伪像，而RGB域或傅立叶空间损失函数则无法实现这一点。这为超分辨率模型的训练提供了新的思路，即通过小波变换聚焦高频信息，从而提升细节恢复的准确性。
WaveMixSR的轻量高效设计
WaveMixSR架构利用离散小波变换进行空间令牌混合，不同于基于Transformer的模型。它能在更少资源和训练数据下实现更高性能，同时保持较高的参数效率。这表明小波变换在降低计算成本的同时，仍能有效提升超分辨率效果，适合资源受限的场景。
混合注意力与局部全局特征融合
文章提出了Hybrid Attention Transformer模型，融合通道注意力和基于窗口的自注意机制，并引入重叠交叉注意力模块。通过交替聚合局部全局特征、位移卷积和块稀疏全局感知模块，实现了空间和通道信息的交互。这种设计在多个数据集上超越了现有方法，展示了局部与全局特征结合的有效性。
LWay训练框架提升真实世界适应性
LWay训练框架结合有监督预训练和自监督学习，通过提取低分辨率图像的降级嵌入并与超分辨输出合并进行重建，利用未见过LR图像自监督学习。结合离散小波变换进一步聚焦高频细节，显著改善了模型对真实世界图像的泛化能力和细节恢复能力，是一种通用的训练方案。
Q&A
小波域损失函数如何提高超分辨率模型的性能？
小波域损失函数能够更好地学习高频细节与伪像之间的区别，从而提升超分辨率模型的性能。
WaveMixSR架构的主要特点是什么？
WaveMixSR架构利用离散小波变换进行空间令牌混合，能够在较少资源和训练数据下实现更高性能。
Hybrid Attention Transformer模型的优势是什么？
Hybrid Attention Transformer模型融合了通道注意力和基于窗口的自注意机制，提升了超分辨率性能。
LWay训练框架如何改善超分辨率模型的表现？
LWay训练框架结合有监督预训练和自监督学习，显著改善了模型对真实世界图像的适应能力和细节恢复能力。
如何通过交替聚合局部全局特征来提升图像恢复质量？
通过交替聚合局部全局特征，引入位移卷积和块稀疏全局感知模块，实现空间和通道信息的交互，从而提升图像恢复质量。
针对医学图像的局部特征缺失问题，提出了什么解决方案？
通过重新设计自注意力映射，利用小波变换对输入特征图进行分解，结合多尺度上下文增强块，实现医学图像的准确分割。
