基于凸优化的分层后训练修剪器应用于大型语言模型

BriefGPT - AI 论文速递 · 2024-08-07T00:00:00Z

LoRAPrune是一个高性能的大规模预训练模型微调和部署框架，使用PEFT感知的剪枝标准和LoRA的梯度值和梯度重要性估计来删除冗余参数，实现高精度和高压缩比。实验结果表明，在各个任务中都达到了最先进的结果，并在VTAB-1k基准测试中产生了比幅度和移动剪枝方法高的平均Top-1准确率。