一文通透ViT：把图片划分成一个个patch块后再做注意力计算，打破CNN在CV领域的统治地位(含Swin Transformer的详解)
💡
原文中文，约8000字，阅读约需19分钟。
📝
内容提要
ViT（视觉变换器）通过将图像分割为小块并利用自注意力机制，成为计算机视觉领域的重要模型。尽管缺乏先验知识，但在大数据集上表现优越。Swin Transformer在此基础上进一步改进，适应多尺度特征，提升检测和分割效果。
🎯
关键要点
- ViT（视觉变换器）通过将图像分割为小块并利用自注意力机制，成为计算机视觉领域的重要模型。
- ViT在大数据集上表现优越，尽管缺乏先验知识。
- Swin Transformer在ViT的基础上进一步改进，适应多尺度特征，提升检测和分割效果。
- ViT的架构由Embedding层、Transformer Encoder和MLP Head组成。
- ViT通过将图片切分为patches来降低计算复杂度，从而实现自注意力机制。
- ViT与CNN的对比显示，ViT缺乏对图像的先验知识，导致在中小型数据集上表现不如CNN。
- Swin Transformer通过窗口机制和patch merging来处理多尺度特征，适合视觉问题。
- Swin Transformer使用移动窗口设计，使得不同窗口之间可以进行自注意力计算。
- Swin Transformer在分类时使用全局平均池化，而非CLS token。
❓
延伸问答
ViT模型的基本架构是什么？
ViT模型的架构由Embedding层、Transformer Encoder和MLP Head组成。
ViT是如何处理图像复杂度的？
ViT通过将图像切分为小块（patches）来降低计算复杂度，从而实现自注意力机制。
Swin Transformer相比ViT有哪些改进？
Swin Transformer通过窗口机制和patch merging来处理多尺度特征，提升了检测和分割效果。
ViT在中小型数据集上的表现如何？
由于ViT缺乏对图像的先验知识，因此在中小型数据集上表现不如CNN。
Swin Transformer是如何实现多尺度特征的？
Swin Transformer通过窗口机制将特征图划分为多个不相交的区域，并在小窗口内进行自注意力计算，从而获取多尺度特征。
ViT与CNN在先验知识上的主要区别是什么？
ViT没有像CNN那样对图像有较多的先验知识，主要依赖自注意力机制，而CNN则利用局部性和平移等变性。
➡️
