配置数据增强以减少视觉 Transformer 中位置嵌入的方差偏移
内容提要
数据增强在视觉预训练模型中至关重要，能够提升模型的性能和泛化能力。研究表明，区域遮盖增加了多样性但降低了不变性。MixUp方法显著提升了多样性，而TransMix方法在多任务中提高了ViT的性能。在视频分类中，VideoMix策略表现优异。Droppos通过增强位置感知能力提升了模型性能，展现了出色的实验结果。
延伸解读
数据增强对不变性与多样性的权衡
文章通过实证研究指出，区域遮盖在增加特征多样性的同时会降低不变性，而MixUp则显著提升多样性且对不变性影响较小。这提示研究者在选择增强策略时需权衡两者：若任务更依赖不变性（如分类），应谨慎使用区域遮盖；若需提升多样性（如生成任务），MixUp可能更合适。手动注释则不会改变不变性或多样性，说明其作用有限。
TransMix与VideoMix：无需额外参数的高效增强
TransMix基于ViT的注意力图混合标签，无需引入额外参数和FLOP，在ImageNet分类及语义分割、目标检测等迁移任务上均能提升性能。VideoMix则通过将视频立方体插入另一视频来创建训练样本，在Kinetics和Something-Something-V2上优于其他基线，并提升了动作定位和视频检测性能。两者均展示了在特定领域内高效增强的潜力。
Droppos：通过位置感知增强自监督学习
Droppos是一种针对Vision Transformers的自监督任务，通过随机丢弃部分位置嵌入并让模型根据视觉外观分类位置，来增强位置感知能力。它采用位置平滑和注意力重构策略解决类别相似性问题，在多个基准测试中表现与现有自监督方法相当。这为提升ViT的位置理解提供了一种新思路，尤其适用于需要精细空间信息的任务。
数据增强与计算资源的协同作用
文章提到，增加计算资源和数据增强可以弥补Vision Transformers在小规模数据上的归纳偏差，使其达到与大规模数据训练相同的精度。在ImageNet-21k上训练的ViT甚至优于在JFT-300M上训练的同类模型。这表明，对于资源有限的研究者，通过合理的数据增强和计算投入，也能获得有竞争力的模型性能。
Q&A
数据增强在视觉预训练模型中的作用是什么？
数据增强能够提升模型的性能和泛化能力，帮助捕捉增强视图之间的不变性。
MixUp方法对模型性能的影响如何？
MixUp方法显著提升了多样性，对不变性影响较小。
TransMix方法有什么特点？
TransMix方法基于ViT的注意力图混合标签，不需要额外参数，能显著提高ViT在多任务中的性能。
VideoMix策略在视频分类中表现如何？
VideoMix策略在视频分类中表现优异，提升了动作定位和视频检测性能。
Droppos方法是如何提升模型性能的？
Droppos通过增强位置感知能力，采用位置平滑和注意力重构策略来提升模型性能。
区域遮盖对模型的影响是什么？
区域遮盖增加了多样性，但降低了不变性。
