初始化对 LoRA 微调动态的影响
内容提要
本文研究了多种改进的低秩适应（LoRA）算法及其在神经网络微调中的应用。提出的LoRA$+$、ALoRA、RoLI、PLoRA等方法提高了微调性能和速度，优化了内存使用，并在多个数据集上取得了优异结果。研究还探讨了对抗鲁棒性和最佳实践，强调了LoRA在正则化和任务表现保持方面的优势。
延伸解读
LoRA 改进算法的核心思路
文章介绍了多种 LoRA 改进算法，如 LoRA+、ALoRA、RoLI、PLoRA 等。这些方法主要从学习率调整、秩分配、初始化策略和更新积累等角度优化 LoRA。例如，LoRA+ 通过为适配器矩阵 A 和 B 设置不同学习率，提升了性能和微调速度；ALoRA 通过修剪和重新分配秩预算，实现灵活适应。这些改进旨在解决 LoRA 的次优问题，并在多个数据集上取得优异结果。
LoRA 与全精调的对比与正则化优势
文章指出，在编程和数学任务上，LoRA 的表现通常逊于全精调，但 LoRA 展现出理想的正则化形式，能更好地保持基础模型在目标领域之外的任务表现，并提供比权重衰减和 dropout 更强的正则化效果。此外，全精调学习到的扰动秩比典型 LoRA 配置高 10-100 倍，这可能解释了一些性能差距。这些发现有助于理解 LoRA 的适用场景。
内存与计算效率的优化
文章提到 LoRA-FA 通过低内存量的权重更新方式，在接近全参数微调准确性的同时降低了内存使用；PLoRA 通过多次积累低秩更新矩阵提高学习能力，且不增加内存使用；rsLoRA 通过修改缩放因子，在训练期间用更多计算资源换取更好的微调性能，而推理计算成本不变。这些方法为资源受限场景提供了高效微调的选择。
Q&A
LoRA$+$算法的主要优势是什么？
LoRA$+$算法通过设置不同的学习率，解决了LoRA的次优问题，提高了性能和微调速度。
ALoRA方法是如何优化低秩适应的？
ALoRA方法通过修剪LoRA排名并分配预算，实现了灵活的低秩适应，实验结果显示其优于最近的基准模型。
什么是Robust Linear Initialization（RoLI）？
RoLI是一种对抗微调方法，通过使用对抗线性探测获得的权重来最大程度地继承预训练的鲁棒性。
LoRA-FA如何降低内存使用？
LoRA-FA采用低内存量的权重更新方式，降低了内存使用，同时接近完整参数微调的准确性。
PLoRA的创新之处在哪里？
PLoRA通过多次积累低秩更新矩阵提高学习能力，并引入基于动量的卸载策略以减轻训练不稳定性。
IncreLoRA如何提高参数效率？
IncreLoRA根据模块的重要性得分自适应添加可训练参数，以实现更高的参数效率。
