MoreauPruner：针对权重扰动的大型语言模型稳健修剪
内容提要
本文介绍了多种大型语言模型（LLMs）的修剪方法，如GBLM-Pruner、Wanda和LLM-Pruner。这些方法通过结构修剪和自动化度量标准，提高了模型性能和压缩效果，减少了重新训练的需求。实验结果表明，这些方法在语言基准测试中表现优异，适用于资源受限设备。
延伸解读
修剪方法的核心差异
文章对比了多种LLM修剪方法，其核心差异在于是否依赖重新训练。Wanda和FLAP无需微调或权重更新，直接诱导稀疏性或进行结构修剪；而LLM-Pruner虽需少量数据（50K）和短时间（3小时）的LoRA调整，但能恢复性能。GBLM-Pruner则利用卡尔曼几何的几何相互关联性，在语言评估中超越幅度修剪、Wanda和SparseGPT。这些差异决定了方法在计算成本和部署灵活性上的取舍。
结构修剪的实际效益
结构修剪能直接减小模型规模并提升推理速度。例如，Sheared-LLaMA通过结构修剪将LLaMA2-7B压缩为1.3B和2.7B参数，仅使用从头训练3%的计算量，且性能优于同规模开源模型。FLAP框架无需再训练即可减少存储并提高推理速度，同时通过补偿机制缓解性能损失。这些案例表明，结构修剪在资源受限设备上具有显著的成本效益和部署优势。
自动化修剪度量标准的进展
传统后训练修剪方法依赖人工设计度量标准，过程繁琐且需试错。Pruner-Zero通过遗传编程自动搜索符号修剪度量标准，并引入对立运算简化策略增加种群多样性。实验表明，其在LLaMA和LLaMA-2上的性能优于SOTA后训练修剪方法。这标志着修剪度量标准正从手工设计转向自动化发现，有望降低专家参与度并提升修剪效率。
Q&A
GBLM-Pruner的主要优势是什么？
GBLM-Pruner利用卡尔曼几何中的几何相互关联性，显著超越其他修剪方法。
Wanda方法如何实现LLMs的稀疏性？
Wanda方法在无需微调或权重更新的情况下诱导预训练LLMs的稀疏性。
LLM-Pruner在压缩模型时有哪些优势？
LLM-Pruner通过结构修剪压缩LLM，保持多任务求解和语言生成能力，仅需50K数据即可恢复性能。
FLAP框架的主要功能是什么？
FLAP框架实现了无需再训练的结构修剪，显著提高了推理速度并减少存储需求。
Pruner-Zero的创新之处在哪里？
Pruner-Zero通过自动化框架生成符号修剪度量标准，优于现有的后训练修剪方法。
如何在资源受限设备上应用结构剪枝方法？
针对资源受限设备的结构剪枝方法通过自适应建模提高了模型的准确率。
