PAT：大语言模型的剪枝感知调优
内容提要
本文介绍了多种针对预训练语言模型（PLMs）的剪枝方法，如Static Model Pruning、PAT、LLM-Pruner、Wanda和GBLM-Pruner。这些方法通过结构修剪和稀疏性诱导，在无需微调的情况下显著提升了模型性能和参数效率，尤其在零样本分类和生成任务中表现突出。研究表明，稀疏微调方法在指令调整上优于传统微调技术，推动了大型语言模型的优化与应用。
延伸解读
剪枝方法演进：从静态到动态
文章梳理了剪枝方法从静态到动态的演进。早期Static Model Pruning基于一阶信息，无需微调即可压缩模型；随后PAT通过嘈杂训练激活不敏感参数，提升微调性能；LLM-Pruner和Wanda进一步在无需微调或权重更新下诱导稀疏性。这些方法逐步降低计算成本，同时保持模型能力，反映了剪枝技术向高效化和自动化发展的趋势。
无需微调的剪枝：效率与性能的平衡
Wanda和GBLM-Pruner等方法强调在无需微调或权重更新的情况下诱导稀疏性，这大幅降低了剪枝后的计算开销。Wanda在LLaMA上评估显示其优于基线，GBLM-Pruner利用几何相互关联性超越幅度剪枝和SparseGPT。这些方法在保持语言基准测试性能的同时，避免了昂贵的再训练，为实际部署提供了高效选择。
稀疏微调在指令调整中的优势
文章指出，稀疏微调方法在指令调整上通常比LoRA等参数高效微调表现更好，且运行时间相当。通过轻量级可学习的列和行矩阵优化稀疏大语言模型的权重，保持修剪后模型的结构和稀疏性，显著提升性能。这表明稀疏微调在大型语言模型适配中具有潜力，尤其适合资源受限的场景。
结构剪枝的优化新方向
MoreauPruner和基于优化的结构剪枝方法代表了新方向。MoreauPruner通过优化分析和Moreau包络稳定剪枝；后者在概率空间中学习剪枝掩码，利用前向传递和策略梯度估计器高效优化。这些方法在复杂性和效果上超越现有方法，为大型语言模型剪枝提供了更理论化的框架，但实际部署效果仍需进一步验证。
Q&A
什么是Static Model Pruning方法？
Static Model Pruning是一种基于一阶信息的模型压缩方法，无需微调即可提升预训练语言模型的性能和参数效率。
PAT机制如何提高预训练语言模型的性能？
PAT机制通过添加嘈杂值激活不敏感参数，从而提升预训练语言模型的微调性能。
LLM-Pruner方法的优势是什么？
LLM-Pruner通过结构修剪压缩大型语言模型，保持多任务求解和语言生成能力，尤其在零样本分类和生成任务中表现良好。
Wanda裁剪方法的主要特点是什么？
Wanda裁剪方法在无需微调或权重更新的情况下诱导稀疏性，并在语言基准测试中表现优于基线方案。
GBLM-Pruner与其他剪枝方法相比有什么优势？
GBLM-Pruner利用几何相互关联性，在语言评估中表现优越，超过了幅度修剪、Wanda和SparseGPT等竞争对手。
稀疏微调方法在指令调整上有什么优势？
稀疏微调方法在指令调整上通常优于传统的参数高效微调技术，表现出更好的性能。
