本文综述轻量级视觉Transformer研究，涵盖MAE-lite预训练与蒸馏策略，MobileViT、MiniViT、LightViT、TinyViT等轻量化架构，以及融合轻量CNN设计的RepViT（在iPhone 12上准确率超80%、延迟约1毫秒）；并探讨小数据集训练、归纳偏差加速收敛与损失几何优化。