初始化对 LoRA 微调动态的影响
原文中文，约1500字，阅读约需4分钟。
📝
内容提要
本文研究了多种改进的低秩适应（LoRA）算法及其在神经网络微调中的应用。提出的LoRA$+$、ALoRA、RoLI、PLoRA等方法提高了微调性能和速度，优化了内存使用，并在多个数据集上取得了优异结果。研究还探讨了对抗鲁棒性和最佳实践，强调了LoRA在正则化和任务表现保持方面的优势。
❓
Q&A
LoRA$+$算法的主要优势是什么？
LoRA$+$算法通过设置不同的学习率，解决了LoRA的次优问题，提高了性能和微调速度。
ALoRA方法是如何优化低秩适应的？
ALoRA方法通过修剪LoRA排名并分配预算，实现了灵活的低秩适应，实验结果显示其优于最近的基准模型。
什么是Robust Linear Initialization（RoLI）？
RoLI是一种对抗微调方法，通过使用对抗线性探测获得的权重来最大程度地继承预训练的鲁棒性。
LoRA-FA如何降低内存使用？
LoRA-FA采用低内存量的权重更新方式，降低了内存使用，同时接近完整参数微调的准确性。
PLoRA的创新之处在哪里？
PLoRA通过多次积累低秩更新矩阵提高学习能力，并引入基于动量的卸载策略以减轻训练不稳定性。
IncreLoRA如何提高参数效率？
IncreLoRA根据模块的重要性得分自适应添加可训练参数，以实现更高的参数效率。
🏷️
