LLM-Barber：面向大型语言模型的单次稀疏掩膜块感知重建器
内容提要
本文介绍了多种大型语言模型（LLM）的剪枝技术，如LLM-Pruner、BESA和FinerCut，旨在在保持性能的同时减少模型规模。这些方法通过结构修剪和优化算法，在零样本任务中表现出色，并在内存受限的设备上实现良好的推理速度，推动了高效语言模型的应用。
延伸解读
剪枝技术的时间演进
从2023年5月的LLM-Pruner到2024年7月的MINI-LLM，大型语言模型剪枝技术经历了快速迭代。早期方法如LLM-Pruner注重在少量数据下恢复性能，而后续工作如Sheared-LLaMA和BESA则探索了更低计算成本下的高效剪枝。这一演进表明，剪枝技术正从单纯压缩模型向兼顾效率与性能的方向发展，为不同场景下的模型部署提供了多样化选择。
性能与效率的权衡
文章指出，深度剪枝方法在零样本任务性能上可与宽度剪枝竞争，且在内存受限时推理速度提升明显。BESA能在五小时内修剪70B参数模型，Sheared-LLaMA仅用3%计算量即可将LLaMA2-7B压缩至1.3B和2.7B。这些结果说明，剪枝技术能在显著降低资源需求的同时，保持模型的多任务能力，但具体性能损失程度需根据任务和剪枝策略评估。
无需微调的剪枝趋势
FinerCut和BlockPruner等方法强调无需微调或后剪枝重建，直接对Transformer的自注意力层和前馈网络层进行剪枝。FinerCut还提供可视化工具，帮助观察被剪枝层的位置和类型。这种趋势降低了剪枝的应用门槛，使剪枝更易于集成到现有流程中，但可能对某些复杂任务的性能保持带来挑战，需结合实际任务验证。
Q&A
LLM-Pruner方法的主要特点是什么？
LLM-Pruner通过结构修剪压缩大型语言模型，保持多任务求解和语言生成能力，并在零样本分类和生成上表现良好。
Sheared-LLaMA系列的修剪效果如何？
Sheared-LLaMA系列在仅使用3%计算量的情况下，将LLaMA2-7B模型修剪为1.3B和2.7B参数，表现优于同规模的开源模型。
BESA技术是如何减少修剪误差的？
BESA通过施加分块重构损失来减少整体修剪误差，并以可微分方式分配层特定的稀疏性。
FinerCut方法的优势是什么？
FinerCut能够剪枝Transformer网络中的自注意力层和前馈神经网络层，效果优于大多数任务，无需微调。
BlockPruner方法的创新之处在哪里？
BlockPruner是一种无需训练的结构化修剪方法，通过定位冗余实现更精细的修剪，效果优于现有方法。
MINI-LLM方法如何降低GPU内存占用？
MINI-LLM通过整合多个指标进行剪枝，有效降低GPU内存占用，并在多个下游任务上表现优异。
