本文提出了一种新的两阶段框架2SSP,用于大语言模型的结构化剪枝,结合宽度和深度剪枝策略。该方法在多种稀疏率下显著提升了语言建模和下游任务的性能,并显著缩短了剪枝时间。
本研究探讨了校准数据对大型语言模型剪枝性能的影响,结果表明,校准数据的质量比剪枝策略更为重要,尤其在高稀疏率情况下。提出的自生成校准数据策略显著提升了剪枝效果。
完成下面两步后,将自动完成登录并继续当前操作。