本研究提出了一种变换器重新参数化的方法，结合高秩和去高秩因式分解，以提升轻量化变换器模型在资源受限物联网设备上的性能。实验结果表明，该方法显著提高了模型性能，使其与大型模型相媲美，推动了先进模型的应用。

该文综述视觉Transformer（ViT）研究进展，涵盖全注意网络FAN（ImageNet准确率87.1%、ImageNet-C mCE 35.8%，并提升分割与检测性能）、语义标记降维、Token labeling训练目标、SiT自瘦身、DualToken-ViT轻量模型、推理中重组token、T2T-ViT、自监督少样本分类分割、Semi-ViT半监督及ViT稳健性分析等工作。

模型压缩算法旨在将大模型转化为小模型，以便部署到嵌入式设备上。常用的方法有知识蒸馏、轻量化模型架构、剪枝、量化等，其中量化方法可以提升推理速度，剪枝方法可以减少模型大小，不容易丢失分类精度。