小规模数据上轻量级视觉变形器的预训练与图像最小缩放
内容提要
本文综述轻量级视觉Transformer研究，涵盖MAE-lite预训练与蒸馏策略，MobileViT、MiniViT、LightViT、TinyViT等轻量化架构，以及融合轻量CNN设计的RepViT（在iPhone 12上准确率超80%、延迟约1毫秒）；并探讨小数据集训练、归纳偏差加速收敛与损失几何优化。
延伸解读
轻量级视觉Transformer的预训练策略
文章介绍了MAE-lite预训练方法，通过掩码图像建模为轻量级ViT提供预训练配方，并与全监督和自监督方法对比。研究表明，预训练模型学习到的底层表示在数据充足的下游任务中更为重要，同时开发了蒸馏策略来提升预训练表示的质量，从而获得更好的性能。
小数据集训练与归纳偏差加速收敛
针对小数据集训练ViT的挑战，文章提到使用参数实例鉴别方法进行理论分析，在7个小数据集上从头训练ViT并取得最新结果，且从小数据集学到的表示能改善大规模ImageNet训练。此外，引入卷积神经网络的归纳偏差可以显著加速ViT收敛，无需大规模预训练数据，并用更少参数胜过传统CNN。
轻量化架构设计与移动端性能
文章综述了多种轻量级ViT架构，如MobileViT、MiniViT、LightViT和TinyViT，它们通过不同策略减少参数并保持精度。特别地，RepViT融合轻量CNN设计，在iPhone 12上实现超过80%的top-1准确率，延迟接近1毫秒，展示了移动端高效视觉模型的潜力。
损失几何优化提升数据效率
文章从损失几何角度研究ViT和MLP-Mixer，通过锐度感知优化器促进平滑性，在监督学习、对抗学习、对比学习和迁移学习等任务上显著提高准确性和鲁棒性。此外，高斯混合蒙版方法无需预训练即可提升ViT在小数据集上的性能，几乎不增加额外参数或计算成本。
Q&A
MAE-lite预训练方法在轻量级视觉Transformer中有什么作用？
MAE-lite是一种基于掩码图像建模的预训练方法，为轻量级ViT提供预训练配方。它通过与其他全监督和自监督预训练方法对比，揭示了预训练模型适当学习的底层在数据充足的下游任务中更为重要，并开发了蒸馏策略来提高预训练表示，从而实现更好性能。
MobileViT和MiniViT分别是什么？
MobileViT是一种轻量级通用视觉变换器，将transformers视为卷积，可用于移动设备，在对象检测等任务上性能优于CNN和ViT。MiniViT是一种压缩框架，利用权重多路复用和自注意力权重蒸馏相结合，显著减少参数数量，同时在视觉任务中保持高精度。
RepViT在移动设备上的性能如何？
RepViT是一种纯轻量级CNN家族，整合了轻量级ViT的高效架构选择。在ImageNet上，RepViT在iPhone 12上实现了超过80%的top-1准确率，延迟接近1毫秒；最大的模型RepViT-M3在仅1.3毫秒延迟下获得了81.4%的准确率。
如何在小数据集上有效训练Vision Transformer？
文章提到多种方法：使用基于参数实例鉴别的方法，可捕捉特征对齐和实例相似性，在多个ViT基础上从头训练7个小数据集取得最新结果；从小型数据集中学习的表示甚至能改善大规模ImageNet的训练结果。此外，高斯混合蒙版（GMM）方法无需预训练，通过改进局部建模提升ViT在小数据集上的性能，几乎不增加额外参数或计算成本。
归纳偏差如何加速Vision Transformer的收敛？
通过引入基于卷积神经网络的归纳偏差，可以加速ViT的收敛训练，不再需要大规模预训练数据。实验表明，加入归纳偏差能显著加速ViTs收敛速度，并用更少的参数胜过传统CNNs。
损失几何优化如何提升ViT和MLP-Mixer的性能？
从损失几何角度研究ViT和MLP-Mixer，通过锐度感知优化器促进平滑性，能在有监督学习、对抗学习、对比学习和迁移学习等各种任务上显著提高准确性和鲁棒性，从而提升数据效率和推理泛化能力。
