LoRA 笔记
内容提要
LoRA是一种基于权重变化具有低内在秩这一发现的大模型微调方法。它通过训练小矩阵A和B并加到原权重W上，大幅减少可训练参数。其优点是微调成本低、无推理延迟、可高效切换任务，且与其他方法正交。建议适配更多权重矩阵，秩取2或4即可。
延伸解读
低秩假设的实证支持
文章指出，不同秩r下LoRA向量的相似性在维度较小时更高，这支持了权重变化具有低内在秩的假设。同时，LoRA矩阵与原权重矩阵相似，表明LoRA是对原始信息的放大。这些观察为选择小秩提供了依据，也解释了为何小秩足以有效微调。
秩的选择与适配策略
文章建议适配更多权重矩阵比用大秩适配单一类型权重更有效，且秩取2或4即可。这提示在实际应用中，应优先考虑扩大适配范围而非增加秩，以平衡参数效率和性能。
正交性与任务切换
LoRA与其他适配方法正交，且能通过切换LoRA矩阵高效切换任务，同时不增加推理延迟。这意味着LoRA可以灵活集成到现有流程中，并支持多任务场景下的快速部署。
理论来源与延伸思考
文章提到低秩假设源于“内在维度”研究，并引用相关论文。作者还提出，权重变化矩阵的秩亏缺可能暗示原权重矩阵本身也是秩亏缺的，这为未来研究提供了方向。
Q&A
LoRA 微调方法的基本原理是什么？
LoRA 基于权重变化具有低内在秩的发现，通过训练小矩阵 A 和 B，并将 A*B 加到原权重 W 上，从而大幅减少可训练参数数量。
LoRA 相比传统微调有哪些优势？
LoRA 的优势包括：微调成本低、无额外推理延迟、可高效切换不同任务的模型、与其他自适应方法正交，并且具有更好的可扩展性和性能。
使用 LoRA 时，秩 r 应该设置为多少？
建议秩 r 取 2 或 4 即可，因为低维已经包含足够信息，且小 r 就足够。
LoRA 可以适配哪些权重矩阵？
建议适配更多的权重矩阵，而不是只适配单一类型的权重并增大秩。
LoRA 中的低内在秩概念来源于哪些研究？
低内在秩的概念来源于两篇论文：Measuring the Intrinsic Dimension of Objective Landscapes 和 Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning。
LoRA 矩阵与原权重矩阵有什么关系？
LoRA 矩阵与原权重矩阵相似，可以看作是对原始信息的放大。
