BriefGPT - AI 论文速递
·
GeoLoRA：几何集成用于参数高效微调
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
MultiLoRA通过优化LoRA模块和参数初始化，减少顶层奇异向量的主导性，从而提升多任务适应性。相比单个LoRA，它在多个基准上表现更佳，仅增加2.5%的参数。
🎯
关键要点
- 提出了MultiLoRA，通过减少LoRA中顶层奇异向量的主导性来提升多任务适应性。
- MultiLoRA通过水平扩展LoRA模块和改变适应矩阵的参数初始化来减少参数依赖性。
- MultiLoRA在多个基准和模型规模上优于单个LoRA和微调，仅需额外2.5%的参数。
- 对MultiLoRA的权重更新矩阵的研究表明，其对顶层奇异向量的依赖性减小，单元变换贡献更加均衡。
➡️
