LoRA笔记
原文英文,约300词,阅读约需1分钟。发表于: 。Introduction Inspiration: the change in weights during model adaptation have a low “intrinsic rank” Description: Change small matrices A and B when fine-tune, adding A * B to weight W, which...
LoRA方法通过在微调时调整小矩阵A和B,并将其乘积添加到权重W中,大幅减少了可训练参数数量,因为r远小于d。这种方法在不增加延迟和不降低质量的情况下,降低了微调成本。LoRA矩阵的切换使模型高效适应不同任务,减少时间和硬件需求,适合小维度和低秩的情况。作者的目标是在不损失质量的前提下降低微调成本,灵感来自权重变化的低“内在秩”。