GenFormer——生成图像是提高变换器在小数据集上的鲁棒性的全部需求
内容提要
本文探讨了视觉Transformer（ViT）的鲁棒性，发现其在抗干扰性上优于传统卷积神经网络（CNN）。实验表明，ViT在小数据集上表现良好，增加计算资源和数据增强可提升其性能。此外，紧凑型Transformer（CCT）在医学图像分类中显示出潜力，适合数据稀缺的情况。
延伸解读
ViT鲁棒性的关键因素
文章指出，ViT的鲁棒性优势并非无条件成立。实验表明，只有在使用足够数据量进行预训练时，ViT的鲁棒性才能至少与ResNet相当。此外，增加计算资源和数据增强可以弥补ViT在小规模数据学习时的归纳偏差，使其达到与大规模数据学习相同的精度。因此，数据规模和训练策略是发挥ViT鲁棒性的重要前提。
ViT抗高频扰动的特征解释
通过频率分析和特征可视化，研究发现ViT学习的特征中包含较少的高频模式，这解释了为何ViT对高频扰动较不敏感，从而在对抗性鲁棒性上优于CNN和MLP-Mixer。同时，现代CNN设计可以帮助缩小ViT与CNN在表现上的差距，说明架构差异并非不可逾越。
小数据集与医学图像中的Transformer变体
针对数据稀缺场景，紧凑型Transformer（CCT）通过恰当的大小和卷积记号化技术，能在小型数据集上避免过拟合并优于现有CNN。在医学图像分类中，CCT展现出潜力，适合数据稀缺的情况；而使用预训练模型时，ViT也可与CNN媲美，成为可行的替代方法。
生成数据与轻量级ViT的进展
研究显示，结合真实数据和生成数据训练ImageNet分类器，可提高准确性和鲁棒性，并引入了ImageNet-G-v1数据集。此外，轻量级ViT通过预训练和最小图像缩放，能在小数据集和小图像分辨率上优于ResNet等CNN，而无需显著增大图像，这为资源受限场景提供了新思路。
Q&A
视觉Transformer（ViT）相比于卷积神经网络（CNN）有什么优势？
ViT在抗干扰性上优于传统的卷积神经网络（CNN），并且在小数据集上表现良好。
如何提高视觉Transformer在小数据集上的鲁棒性？
增加计算资源和数据增强可以弥补ViT在小规模数据学习时的归纳偏差，从而提升其鲁棒性。
紧凑型Transformer（CCT）在医学图像分类中有什么潜力？
CCT在医学图像分类中显示出良好的性能，特别适合数据稀缺的情况。
ViT在小数据集上表现良好的原因是什么？
使用足够的数据进行预训练可以提升ViT的鲁棒性，使其在小数据集上表现良好。
如何通过数据增强提升ViT的性能？
数据增强可以帮助ViT在小规模数据学习时减少归纳偏差，从而提升模型性能。
ViT和ResNet在鲁棒性方面的比较如何？
实验表明，在使用足够的数据量进行预训练的情况下，ViT的鲁棒性至少与ResNet相当。
