本研究提出了一种变换器重新参数化的方法，结合高秩和去高秩因式分解，以提升轻量化变换器模型在资源受限物联网设备上的性能。实验结果表明，该方法显著提高了模型性能，使其与大型模型相媲美，推动了先进模型的应用。

模型压缩算法旨在将大模型转化为小模型，以便部署到嵌入式设备上。常用的方法有知识蒸馏、轻量化模型架构、剪枝、量化等，其中量化方法可以提升推理速度，剪枝方法可以减少模型大小，不容易丢失分类精度。