论文提出了一种名为MaskLLM的可学习半结构化剪枝方法,通过大规模数据集学习N:M掩码,以降低大型语言模型的计算开销。该方法支持跨任务的稀疏模式迁移学习,显著提升模型性能和训练效率。实验结果表明,MaskLLM在多个大型语言模型上表现优异。
完成下面两步后,将自动完成登录并继续当前操作。