一文通透ViT：把图片划分成一个个patch块后再做注意力计算，打破CNN在CV领域的统治地位(含Swin Transformer的详解)
💡
原文中文，约8000字，阅读约需19分钟。
📝
内容提要
ViT（视觉变换器）通过将图像分割为小块并利用自注意力机制，成为计算机视觉领域的重要模型。尽管缺乏先验知识，但在大数据集上表现优越。Swin Transformer在此基础上进一步改进，适应多尺度特征，提升检测和分割效果。
🎯
关键要点
- ViT（视觉变换器）通过将图像分割为小块并利用自注意力机制，成为计算机视觉领域的重要模型。
- ViT在大数据集上表现优越，尽管缺乏先验知识。
- Swin Transformer在ViT的基础上进一步改进，适应多尺度特征，提升检测和分割效果。
- ViT的架构由Embedding层、Transformer Encoder和MLP Head组成。
- ViT通过将图片切分为patches来降低计算复杂度，从而实现自注意力机制。
- ViT与CNN的对比显示，ViT缺乏对图像的先验知识，导致在中小型数据集上表现不如CNN。
- Swin Transformer通过窗口机制和patch merging来处理多尺度特征，适合视觉问题。
- Swin Transformer使用移动窗口设计，使得不同窗口之间可以进行自注意力计算。
- Swin Transformer在分类时使用全局平均池化，而非CLS token。
➡️
