LLM裁剪与蒸馏实践：Minitron方法
内容提要
本文介绍了一种名为LLM-Pruner的结构修剪方法，旨在压缩大型语言模型（LLM），在保持多任务能力的同时提升性能。研究表明，通过结构修剪可以有效生成小型高效模型，并提出了Pruner-Zero框架用于自动生成修剪度量标准。此外，开发了PruningBench基准测试，以评估不同修剪技术的有效性，推动未来研究。
延伸解读
结构修剪的实用价值
文章指出，结构修剪能在保持多任务求解和语言生成能力的同时压缩LLM，且压缩模型在零样本分类和生成上表现令人满意。例如，LLM-Pruner仅需50K数据，3小时内通过LoRA恢复性能；Sheared-LLaMA用3%计算量将LLaMA2-7B修剪为1.3B和2.7B，优于同规模开源模型。这表明结构修剪是低成本构建小模型的有效途径。
自动化修剪度量探索
后训练修剪方法无需重新训练，但现有度量标准依赖人工专家和试错。Pruner-Zero框架利用遗传编程自动搜索符号修剪度量标准，设计涵盖现有度量的搜索空间，并提出对立运算简化策略增加种群多样性。实验表明，Pruner-Zero在LLaMA和LLaMA-2上的语言建模和零样本任务中优于SOTA后训练修剪方法，减少了人工干预。
基准测试与评估标准化
结构修剪领域缺乏标准化基准和度量标准，阻碍进展理解。PruningBench作为首个全面基准，采用统一框架评估结构修剪技术，系统评估了16种方法，涵盖CNN和ViTs等模型及分类、检测等任务，并提供易用接口和在线平台，促进未来方法的实施和比较，推动研究可复现性。
性能与效率的平衡
文章展示了多种修剪技术：深度剪枝在零样本任务性能上与宽度剪枝竞争，且在内存受限时推理速度提升明显；Bonsai无梯度、扰动性裁剪生成小型快速准确模型；NutePrune逐步引导剪枝，减小内存开销并提高推理速度；DPPA双阶段方法在保留少于20%参数时表现与保留90%参数的方法相媲美。这些方法共同指向在资源受限设备上部署LLM的可行性。
Q&A
LLM-Pruner是什么？
LLM-Pruner是一种通过结构修剪压缩大型语言模型的方法，旨在保持多任务能力和语言生成能力。
Pruner-Zero框架的作用是什么？
Pruner-Zero框架用于自动生成修剪度量标准，减少人工干预和试错过程。
如何评估不同修剪技术的有效性？
通过开发PruningBench基准测试，系统地评估各种结构修剪技术的有效性。
结构修剪对模型性能有什么影响？
结构修剪可以有效生成小型高效模型，并在零样本分类和生成任务中表现良好。
动态修剪分区增强方法的优势是什么？
该方法在保留少于20%的特定领域参数的同时，表现与保留90%参数的其他方法相媲美，性能提升近20%。
LLM的修剪方法有哪些挑战？
大型语言模型的修剪方法面临重新训练的高成本和计算需求，以及缺乏标准化的基准和度量标准。
