2SSP: A Two-Stage Framework for Structured Pruning of Large Language Models

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本文提出了一种新的两阶段框架2SSP,用于大语言模型的结构化剪枝,结合宽度和深度剪枝策略。该方法在多种稀疏率下显著提升了语言建模和下游任务的性能,并显著缩短了剪枝时间。

🏷️

标签

➡️

继续阅读