本研究提出了一种变换器重新参数化的方法，通过结合高秩和去高秩因式分解，提升了资源受限物联网设备上轻量化变换器模型的性能，接近大型模型水平。

本研究探讨了DNA序列表示的挑战，提出了一种基于k-mer的轻量化模型，能够在基因组读取层面进行元基因组分箱，具有更好的可扩展性，适用于真实数据集。

模型压缩算法旨在将大模型转化为小模型，以便部署到嵌入式设备上。常用的方法有知识蒸馏、轻量化模型架构、剪枝、量化等，其中量化方法可以提升推理速度，剪枝方法可以减少模型大小，不容易丢失分类精度。