Swin Transformer：最佳论文，准确率和性能双佳的视觉Transformer | ICCV 2021 - 晓飞的算法工程笔记
内容提要
论文介绍了Swin Transformer模型，旨在提升计算机视觉任务的准确率。该模型通过构建层级特征和采用线性计算复杂度，显著提高了图像分类、目标检测和语义分割的性能。实验结果表明，Swin Transformer在多个视觉任务中超越了传统卷积神经网络。
延伸解读
层级特征：视觉Transformer的架构革新
Swin Transformer通过逐步合并图像块构建层级特征图，分辨率从H/4×W/4逐步下采样至H/32×W/32，与典型卷积网络（如ResNet）的特征金字塔结构相似。这种设计使其能直接替换现有方法中的骨干网络，并方便地结合FPN或U-Net等密集预测技术，从而在目标检测和语义分割等任务中取得优异性能。
移位窗口：高效自注意力的关键
Swin Transformer在局部非重叠窗口内计算自注意力，将计算复杂度从图像块数量的二次方降为线性。但窗口间缺乏连接会限制建模能力，因此引入移位窗口分区：连续模块交替使用常规和移位窗口，促进跨窗口特征融合。移位窗口还通过循环移位和掩码机制实现高效批处理，避免填充带来的额外计算。
相对位置偏置：小改动带来大提升
在自注意力计算中，Swin Transformer为每个head加入相对位置偏置。该偏置通过一个较小尺寸的可学习矩阵生成，既降低了参数量，又让相同相对位置共享偏置。实验表明，相比无偏置或绝对位置偏置，相对位置偏置能显著提升性能，且预训练偏置可通过双三次插值适应不同窗口大小。
性能表现：多任务超越CNN与ViT
在ImageNet-1K分类上，Swin Transformer达到87.3%的top-1准确率；在COCO检测上，box AP和mask AP分别达到58.7和51.1，超越此前最佳结果；在ADE20K语义分割上，mIoU为53.5。在相似速度下，其准确率显著优于ViT/DeiT和ResNe(X)t模型，展现了作为视觉通用主干的潜力。
Q&A
Swin Transformer模型的主要目标是什么？
Swin Transformer模型旨在提升计算机视觉任务的准确率。
Swin Transformer如何处理计算复杂度？
Swin Transformer的计算复杂度与输入图片大小成线性关系，通过局部非重叠窗口计算自注意力来实现。
Swin Transformer在视觉任务中的表现如何？
Swin Transformer在图像分类、目标检测和语义分割任务上表现优异，准确率显著高于传统卷积神经网络。
移位窗口分区方法的作用是什么？
移位窗口分区方法促进了前一层窗口之间的特征融合，从而显著提高了建模能力。
Swin Transformer与传统卷积神经网络相比有什么优势？
Swin Transformer在多个视觉任务中超越了传统卷积神经网络，尤其在准确率和性能上表现更佳。
Swin Transformer的实验结果如何？
实验结果显示，Swin Transformer在COCO和ADE20K等数据集上取得了高于SOTA的性能。
