本研究提出了LoRA$^2$方法,通过扩展低秩适应方法到多尺度,结合正交投影理论和改进的重要性评分算法,减少了训练参数数量,提升了适应性和性能。研究结果表明,LoRA$^2$在微调中仅需0.72%的参数,仍能实现与基线相当的性能。
完成下面两步后,将自动完成登录并继续当前操作。