卷积初始化用于数据高效的视觉 Transformer 模型
内容提要
该文综述视觉Transformer与卷积网络的比较研究，提出重参数化插值、归纳偏差加速收敛、数据依赖初始化、蒸馏训练等方法以提升ViT在小数据集上的表现，并发现ViT比CNN更易放大性别偏见，而卷积设计可增强稳健性。
延伸解读
卷积与自注意力的融合策略
文章提到，通过重参数化插值在卷积和自注意力之间调整感知偏差，可以提升小数据集上的性能。此外，将卷积神经网络的归纳偏差引入视觉Transformer，能加速收敛并减少对大规模预训练的依赖。这些方法表明，结合两种架构的优势是提升ViT数据效率的有效途径。
数据依赖初始化与蒸馏训练
文章指出，数据依赖的初始化过程能避免梯度消失或爆炸，并匹配领先的无监督或自监督预训练方法，且速度快三个数量级。同时，基于蒸馏的方法使用轻量级教师共同指导，能提升Transformer性能。这些技术有助于在有限数据下训练ViT。
架构差异与偏见放大风险
研究发现，ViT和CNN在内部表示结构上存在显著差异，自注意力在全局信息聚合中起关键作用。此外，ViT比CNN更容易放大性别偏见，而卷积设计能增强稳健性。这提示在实际应用中需关注架构选择对公平性和稳健性的影响。
Q&A
视觉Transformer在小数据集上表现不佳，有哪些方法可以提升其数据效率？
文章提到多种方法：基于数据规模的感知偏差交替方法，通过卷积和自注意力之间的重参数化插值调整感知偏差；利用卷积神经网络的归纳偏差加速ViT收敛，减少对大规模预训练数据的依赖；数据依赖初始化过程避免梯度消失或爆炸；基于蒸馏的方法，使用轻量级teachers共同指导student transformer；以及新的自监督任务鼓励VT网络在空间关系方面的学习。
卷积神经网络的归纳偏差如何帮助视觉Transformer减少对大规模预训练数据的依赖？
文章指出，加入卷积神经网络的归纳偏差能够显著加速ViTs的收敛速度，并用更少的参数胜过传统CNNs，从而不再需要ViTs使用大规模的预训练数据。
视觉Transformer和卷积神经网络在放大社会偏见方面有何差异？
文章通过引入准确率差异度量发现，由于在特征提取、嵌入以及学习属性上的不同技术，架构会影响社会偏见的放大。实验表明，与CNNs相比，ViTs更容易放大性别偏见。
有哪些卷积设计可以增强视觉模型的稳健性，甚至无需注意力机制？
文章发现三种设计结合可以构建出稳健性甚至优于Transformers的纯卷积神经网络架构：a）分块输入图像，b）增大卷积核尺寸，c）减少激活层和归一化层。这些设计无需attention-like操作。
数据依赖初始化过程在训练视觉Transformer时有什么优势？
该初始化过程快速简单，可避免梯度消失或爆炸，能够与当前领先的无监督或自监督预训练方法相匹配，同时比前人方法快大约三个数量级。当与预训练方法结合时，可以显著优于先前的工作，在监督和无监督预训练之间缩小差距。
基于蒸馏的方法如何提升视觉Transformer的性能？
该方法使用具有不同归纳偏差的轻量级teachers来共同指导student transformer，实现不同知识的交汇和提升，从而取得比先前同等架构的transformers更好的性能。
