LoRA方法通过在微调时调整小矩阵A和B，并将其乘积添加到权重W中，大幅减少了可训练参数数量，因为r远小于d。这种方法在不增加延迟和不降低质量的情况下，降低了微调成本。LoRA矩阵的切换使模型高效适应不同任务，减少时间和硬件需求，适合小维度和低秩的情况。作者的目标是在不损失质量的前提下降低微调成本，灵感来自权重变化的低“内在秩”。