SuperLoRA: 多层注意力模块参数高效统一适应
原文中文，约300字，阅读约需1分钟。发表于：。提出了一个称为 SuperLoRA 的广义框架，将不同的 LoRA 变体统一并扩展，通过引入分组、折叠、洗牌、投影和张量分解等方法，SuperLoRA 相对于其他 LoRA 变体具有更高的灵活性，在转移学习任务中表现出卓越的性能，尤其在极低参数的情况下表现出色。
MultiLoRA是一种新的多任务适应性方法，通过减少LoRA中的主导性和改变参数初始化来实现更平衡的单元子空间。它在多个基准和模型规模上优于单个LoRA和微调，仅需额外2.5％的参数。对MultiLoRA的权重更新矩阵的研究表明，其对顶层奇异向量的依赖性减小。
