本研究提出Rank-adaptive Reliability Optimization(RoRA)方法,以解决低秩适应(LoRA)在大型语言模型微调中的性能限制。实验结果表明,RoRA在压缩和未压缩模型上均优于现有技术,尤其在高剪枝率模型中准确性显著提升。
完成下面两步后,将自动完成登录并继续当前操作。