LoRA方法通过在微调时调整小矩阵A和B，并将其乘积添加到权重W中，大幅减少了可训练参数数量，因为r远小于d。这种方法在不增加延迟和不降低质量的情况下，降低了微调成本。LoRA矩阵的切换使模型高效适应不同任务，减少时间和硬件需求，适合小维度和低秩的情况。作者的目标是在不损失质量的前提下降低微调成本，灵感来自权重变化的低“内在秩”。

LoRA是一种基于权重变化具有低内在秩这一发现的大模型微调方法。它通过训练小矩阵A和B并加到原权重W上，大幅减少可训练参数。其优点是微调成本低、无推理延迟、可高效切换任务，且与其他方法正交。建议适配更多权重矩阵，秩取2或4即可。