SuperLoRA: 多层注意力模块参数高效统一适应

BriefGPT - AI 论文速递 · 2024-03-18T00:00:00Z

MultiLoRA是一种新的多任务适应性方法，通过减少LoRA中的主导性和改变参数初始化来实现更平衡的单元子空间。它在多个基准和模型规模上优于单个LoRA和微调，仅需额外2.5％的参数。对MultiLoRA的权重更新矩阵的研究表明，其对顶层奇异向量的依赖性减小。