本文介绍了低秩适应（LoRA）方法，通过在变压器结构中注入可训练的秩分解矩阵，显著减少可训练参数并提升微调性能。此外，研究提出了稀疏低秩适应性（SoRA）和rank-stabilized LoRA（rsLoRA），进一步优化了LoRA的表现，降低了参数数量，同时保持高效微调的潜力。实验结果表明，这些方法在多个基准测试中表现优异。

本文介绍了一种新的参数高效微调方法LoRA-XS，利用奇异值分解（SVD）在大模型上实现了显著的参数效率和竞争性能。通过引入稀疏低秩适应性（SoRA），动态调整内在秩，提升了LoRA的表现。实验结果表明，SoRA在保留70%参数的情况下超越了其他基准模型。此外，AdaLoRA、动态低秩适应和PRILoRA等方法在自然语言处理任务中也表现优越。