BriefGPT - AI 论文速递
·
2SSP: A Two-Stage Framework for Structured Pruning of Large Language Models
💡
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本文提出了一种新的两阶段框架2SSP，用于大语言模型的结构化剪枝，结合宽度和深度剪枝策略。该方法在多种稀疏率下显著提升了语言建模和下游任务的性能，并显著缩短了剪枝时间。
🎯
关键要点
- 本文提出了一种新的两阶段框架2SSP，用于大语言模型的结构化剪枝。
- 该框架结合了宽度剪枝和深度剪枝两种策略。
- 在多种稀疏率下，该方法在语言建模及下游任务的表现上显著提升。
- 与五种最先进的竞争方法相比，2SSP显著缩短了剪枝时间，达到两个数量级的缩短。
➡️
