基于凸优化的分层后训练修剪器应用于大型语言模型
原文中文，约300字，阅读约需1分钟。发表于：。压缩大型语言模型的关键策略是剪枝，本文提出了基于凸优化模型和算法的 FISTAPruner 剪枝器，通过引入 L1 范数诱导稀疏性和利用 FISTA 求解器进行优化来实现剪枝，通过在多个语言基准测试上综合评估，展示出优于现有最先进方法的卓越性能。
LoRAPrune是一个高性能的大规模预训练模型微调和部署框架，使用PEFT感知的剪枝标准和LoRA的梯度值和梯度重要性估计来删除冗余参数，实现高精度和高压缩比。实验结果表明，在各个任务中都达到了最先进的结果，并在VTAB-1k基准测试中产生了比幅度和移动剪枝方法高的平均Top-1准确率。
