BriefGPT - AI 论文速递
·
SuperLoRA: 多层注意力模块参数高效统一适应
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
MultiLoRA是一种新的多任务适应性方法，通过减少LoRA中的主导性和改变参数初始化来实现更平衡的单元子空间。它在多个基准和模型规模上优于单个LoRA和微调，仅需额外2.5％的参数。对MultiLoRA的权重更新矩阵的研究表明，其对顶层奇异向量的依赖性减小。
🎯
关键要点
-
提出了 MultiLoRA 方法，通过减少 LoRA 中顶层奇异向量的主导性来实现更好的多任务适应性。
-
MultiLoRA 通过水平扩展 LoRA 模块和改变适应矩阵的参数初始化来减少参数依赖性。
-
MultiLoRA 在多个基准和模型规模上优于单个 LoRA 和微调，仅需额外 2.5% 的参数。
-
对 MultiLoRA 的权重更新矩阵的研究表明，其对顶层奇异向量的依赖性减小，单元变换贡献更加均衡。
➡️
