informal
·
LoRA笔记
💡
原文英文，约300词，阅读约需1分钟。
📝
内容提要
LoRA方法通过在微调时调整小矩阵A和B，并将其乘积添加到权重W中，大幅减少了可训练参数数量，因为r远小于d。这种方法在不增加延迟和不降低质量的情况下，降低了微调成本。LoRA矩阵的切换使模型高效适应不同任务，减少时间和硬件需求，适合小维度和低秩的情况。作者的目标是在不损失质量的前提下降低微调成本，灵感来自权重变化的低“内在秩”。
🎯
关键要点
-
LoRA方法通过调整小矩阵A和B，显著减少可训练参数数量。
-
在不增加延迟和不降低质量的情况下，降低微调成本。
-
LoRA矩阵的切换使模型高效适应不同任务，减少时间和硬件需求。
-
LoRA具有更好的可扩展性和性能。
-
适应多个权重矩阵比适应单一类型的大秩权重更可取。
-
小维度时，LoRA向量的相似性更高，证明低维度包含更多信息。
-
LoRA矩阵与原始权重矩阵相似，是原始信息的放大。
-
作者的目标是在不损失质量的前提下降低微调成本。
-
适应变化的关键在于低“内在秩”。
-
未来工作的灵感来源于delta_w的随机缺陷，暗示w也可能是秩缺陷的。
❓
延伸问答
LoRA方法的主要优点是什么？
LoRA方法的主要优点是显著减少可训练参数数量，同时在不增加延迟和不降低质量的情况下降低微调成本。
LoRA如何提高模型的适应性？
LoRA通过切换小矩阵A和B，使模型能够高效适应不同的任务，减少时间和硬件需求。
LoRA方法在微调过程中如何减少参数数量？
LoRA方法通过调整小矩阵A和B，并将其乘积添加到权重W中，从而显著减少可训练参数数量。
LoRA方法适合什么样的情况？
LoRA方法适合小维度和低秩的情况，因为在这些情况下，LoRA向量的相似性更高，包含更多信息。
LoRA方法的灵感来源于什么？
LoRA方法的灵感来源于模型适应过程中权重变化的低“内在秩”。
未来的研究方向可能会受到什么启发？
未来的研究方向可能会受到delta_w的随机缺陷启发，暗示权重w也可能是秩缺陷的。
➡️
