提出了一种名为Layer Collapse (LaCo)的逐层修剪方法,能够快速减小模型大小并保留模型结构。实验证明,在修剪比例为25-30%时,该方法能够保持超过80%的平均任务性能,优于现有的结构修剪方法。同时,后训练实验证实了该修剪方法有效继承了原始模型的参数,并从逐层相似性的角度讨论了提出该方法的动机。还评估了大型语言模型在不同修剪比例下的性能。
完成下面两步后,将自动完成登录并继续当前操作。