Delta-LoRA:用低秩矩阵的增量微调高秩参数

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

Delta-LoRA是一种用于微调大型语言模型的新方法,通过增量更新低秩矩阵,将学习传播到预训练权重,解决了低秩矩阵更新的不足。实验证明Delta-LoRA在内存需求和计算成本方面与LoRA相当,且优于其他方法。

🏷️

标签

➡️

继续阅读