EDoRA方法通过奇异值分解将预训练权重分解为大小和方向分量,冷冻低秩矩阵,并引入小的可训练矩阵,显著减少可训练参数,最多可减少30倍,同时保持学习能力。实验表明,EDoRA在GLUE基准测试中表现优异,适用于资源受限环境的多任务适应。
完成下面两步后,将自动完成登录并继续当前操作。