本研究介绍了一种名为低秩引导训练（LoRITa）的压缩技术，通过组合线性层和奇异值截断来促进低秩性，无需改变结构或进行额外优化。实验证明其有效性，在FLOPs和参数减少方面取得了竞争性或SOTA结果。