LoRA笔记
原文英文，约300词，阅读约需1分钟。
📝
内容提要
LoRA方法通过在微调时调整小矩阵A和B，并将其乘积添加到权重W中，大幅减少了可训练参数数量，因为r远小于d。这种方法在不增加延迟和不降低质量的情况下，降低了微调成本。LoRA矩阵的切换使模型高效适应不同任务，减少时间和硬件需求，适合小维度和低秩的情况。作者的目标是在不损失质量的前提下降低微调成本，灵感来自权重变化的低“内在秩”。
🔎
延伸解读
LoRA方法的优势
LoRA方法通过调整小矩阵A和B，显著减少了可训练参数的数量。这种方法在微调过程中不仅降低了成本，还保持了模型的质量和响应速度，适合需要快速适应不同任务的场景。
低内在秩的意义
文章提到的低“内在秩”概念，表明在微调过程中，模型的权重变化可以通过较小的矩阵来有效表示。这一发现为未来的模型优化提供了新的思路，尤其是在处理大规模数据时。
适应性与可扩展性
LoRA方法的可扩展性使其在多任务学习中表现出色。通过适应多个小矩阵而非单一大矩阵，模型能够更灵活地应对不同的任务需求，减少了对硬件的依赖。
❓
Q&A
LoRA方法的主要优点是什么？
LoRA方法的主要优点是显著减少可训练参数数量，同时在不增加延迟和不降低质量的情况下降低微调成本。
LoRA如何提高模型的适应性？
LoRA通过切换小矩阵A和B，使模型能够高效适应不同的任务，减少时间和硬件需求。
LoRA方法在微调过程中如何减少参数数量？
LoRA方法通过调整小矩阵A和B，并将其乘积添加到权重W中，从而显著减少可训练参数数量。
LoRA方法适合什么样的情况？
LoRA方法适合小维度和低秩的情况，因为在这些情况下，LoRA向量的相似性更高，包含更多信息。
LoRA方法的灵感来源于什么？
LoRA方法的灵感来源于模型适应过程中权重变化的低“内在秩”。
未来的研究方向可能会受到什么启发？
未来的研究方向可能会受到delta_w的随机缺陷启发，暗示权重w也可能是秩缺陷的。
🏷️
