LoRA$^2$: 多尺度低秩近似用于大型语言模型微调
内容提要
本文介绍了多种低秩适应方法（如LoRA、Delta-LoRA、SoRA等），旨在优化大型语言模型的微调过程。这些方法通过减少可训练参数和内存需求，提升了模型性能，尤其在资源有限的环境中表现出色。实验结果表明，这些新方法在保持竞争性性能的同时，显著降低了计算和存储需求，为自然语言处理模型的高效适应提供了新思路。
延伸解读
低秩适应方法演进脉络
从2021年LoRA提出，到2024年LoRA-XS，低秩适应方法不断演进。早期LoRA通过注入可训练秩分解矩阵减少参数，后续Delta-LoRA、SoRA等针对更新不足、秩固定等问题改进。这些方法在保持性能的同时，逐步降低计算和存储需求，体现了参数高效微调领域持续优化的趋势。
不同方法的侧重点与权衡
各方法在效率与性能间有不同取舍：Delta-LoRA通过更新预训练权重提升效果，内存与LoRA相当；SoRA动态调整秩，保留70%参数即超越基准；rsLoRA以更多训练计算换取更好性能，推理成本不变；LoRA-SP随机冻结参数，适合资源有限环境；ALoRA修剪负面秩，灵活适应任务；LoRA-XS利用SVD，在较大模型上参数效率更高。
实际应用中的选择考量
选择低秩适应方法时，需权衡任务需求与资源限制。若追求极致参数效率且模型较大，可考虑LoRA-XS；若需动态调整秩，SoRA更合适；资源紧张时LoRA-SP能显著减少计算存储；若希望提升性能且不增加推理成本，rsLoRA是选项。实际部署应结合具体场景和基准测试结果。
Q&A
LoRA方法的主要优势是什么？
LoRA方法通过减少可训练参数，提升训练吞吐量，解决了微调时的内存占用问题，同时性能与传统微调相当或更好。
Delta-LoRA与LoRA相比有什么创新之处？
Delta-LoRA通过更新低秩矩阵的增量，有效解决了低秩矩阵更新不足的问题，同时在内存需求和计算成本上与LoRA相当。
SoRA方法是如何提高LoRA表现的？
SoRA方法引入稀疏低秩适应性，动态调整内在秩，从而在保留70%参数的情况下超越其他基准模型。
rsLoRA方法的主要特点是什么？
rsLoRA方法通过修改缩放因子，在训练期间用更多计算资源换取更好的微调性能，同时保持推理计算成本不变。
LoRA-SP方法如何在资源有限的环境中优化模型？
LoRA-SP方法通过随机选择性参数冻结，显著减少计算和存储需求，同时保持模型性能，适合资源有限的环境。
ALoRA方法的主要贡献是什么？
ALoRA方法通过修剪负面影响的LoRA排名，实现了灵活的低秩适应，实验结果显示其优于最近的基准模型。
