本研究提出了剪枝感知调优(PAT)方法,解决了大语言模型的内存和计算需求问题。通过引入混合稀疏化模块(HSM),该方法在模型微调的同时进行结构剪枝,提高了效率和性能。实验结果显示,与LoRA微调模型相比,速度和准确性都有显著提高。
完成下面两步后,将自动完成登录并继续当前操作。