MultiLoRA是一种新的多任务适应性方法，通过减少LoRA中的主导性顶层奇异向量和改变适应矩阵的参数初始化来实现更平衡的单元子空间。在多个基准和模型规模上，MultiLoRA优于单个LoRA和微调方法，且只需额外2.5％的参数。进一步研究表明，MultiLoRA的权重更新矩阵减少了对顶层奇异向量的依赖性，使单元变换更加均衡。