BriefGPT - AI 论文速递
·
LLaMA 简化： 大型语言模型的简单深度修剪
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
Compresso通过合作的剪枝算法和大型语言模型自身，成功将LLaMA-7B剪枝至5.4B，并在多个基准测试上获得更高分数。
🎯
关键要点
-
Compresso通过合作的剪枝算法和大型语言模型自身，成功将LLaMA-7B剪枝至5.4B。
-
在数据收集和训练成本昂贵的挑战下，Compresso学习最优的剪枝决策。
-
引入协同提示进一步增强了剪枝算法。
-
在阅读理解上超过LLaMA-7B2.62%。
-
在共同推理、阅读理解、MMLU和BBH基准测试上分别获得了2.21%、11.43%、7.04%和4.81%的更高分数。
-
Compresso的表现明显优于一次性剪枝基线。
➡️
