本文提出了一种自适应剪枝方法(Adapt-Pruner),旨在解决小型语言模型训练中的高计算成本和性能下降问题。通过逐层自适应剪枝与后续训练的结合,显著提升了模型性能并降低了计算复杂度,实验结果表明其优于传统剪枝方法。
完成下面两步后,将自动完成登录并继续当前操作。