LLaMA 简化: 大型语言模型的简单深度修剪

💡 原文中文,约1400字,阅读约需4分钟。
📝

内容提要

本文综述大语言模型结构化剪枝技术,包括Sheared-LLaMA以3%算力将LLaMA2-7B剪至1.3B和2.7B、Wanda无需微调稀疏化、LLM-Pruner仅用5万数据3小时恢复性能、Compresso将LLaMA-7B剪至5.4B并提升多项基准,以及ZipLM、LayerPrune等高效压缩方法。

🔎

延伸解读

剪枝技术的成本效益

Sheared-LLaMA 仅用从头训练 3% 的算力,就将 LLaMA2-7B 剪枝为 1.3B 和 2.7B 参数,且性能优于同规模开源模型。这表明结构化剪枝能大幅降低构建小型语言模型的成本,为资源有限的团队提供了可行路径。

无需微调的稀疏化方法

Wanda 方法无需微调或权重更新即可诱导稀疏性,在 LLaMA 上评估时显著优于基线剪枝方案,并与需要大量权重更新的方法竞争。这降低了剪枝的计算开销,适合快速部署场景。

快速恢复性能的剪枝方案

LLM-Pruner 通过结构修剪压缩 LLM,仅需 50K 数据和 3 小时 LoRA 调整即可恢复性能,保持零样本分类和生成能力。这为实际应用提供了高效压缩与快速恢复的平衡。

剪枝后性能提升的案例

Compresso 将 LLaMA-7B 剪枝至 5.4B,在阅读理解上超过原模型 2.62%,并在共同推理、MMLU 和 BBH 等基准上获得更高分数。这说明精心设计的剪枝不仅能压缩模型,还可能提升特定任务表现。

❓

Q&A

Sheared-LLaMA 是如何用少量算力将 LLaMA2-7B 压缩成更小模型的?

Sheared-LLaMA 使用结构化剪枝技术,仅用从头训练所需算力的 3%,就将 LLaMA2-7B 剪枝为 1.3B 和 2.7B 参数版本,且性能优于同等规模的开源模型。

Wanda 剪枝方法有什么特别之处?

Wanda 是一种无需微调或权重更新的剪枝方法,能直接诱导预训练大语言模型的稀疏性,在 LLaMA 上的实验表明其性能显著优于基线剪枝方案,并能与需要大量权重更新的方法竞争。

LLM-Pruner 压缩大模型需要多少数据和计算时间?

LLM-Pruner 仅需 50K 数据,在 3 小时内通过 LoRA 调整技术就能有效恢复压缩模型的性能,同时保持多任务求解和语言生成能力。

Compresso 将 LLaMA-7B 剪枝到多大,效果如何?

Compresso 将 LLaMA-7B 剪枝至 5.4B,在阅读理解上超过原模型 2.62%,并在共同推理、阅读理解、MMLU 和 BBH 基准上分别获得 2.21%、11.43%、7.04% 和 4.81% 的更高分数,明显优于一次性剪枝基线。

ZipLM 压缩方法有什么优势?

ZipLM 通过迭代结构缩小权重矩阵,能在保证目标加速比的同时提供最先进的压缩精度,并可在单次运行中生成一组准确模型,在 GPT2 模型上表现最佳。

LayerPrune 与传统剪枝方法相比有什么不同?

LayerPrune 基于不同的剪枝指标,相较于传统基于 filter 的剪枝方法能实现更高的延迟降低,并使用相同的 filter 重要性判定剪枝最不重要的层,较好地平衡了准确率和删除率。

🏷️

标签

➡️

继续阅读