SEVEN：保留哨兵的剪枝变压器模型
内容提要
本文提出了一种增强稀疏化范式的结构化剪枝框架（STP），通过自蒸馏技术维持剪枝权重并提升模型表现。研究表明，STP在极度剪枝情况下仍能保持高准确率，且在自然语言处理领域的稀疏剪枝技术相比传统方法效果显著，实现了参数和计算量的大幅压缩而不损失性能。
延伸解读
自蒸馏如何维持剪枝权重
STP框架的核心创新在于利用自蒸馏技术来维持被剪枝权重的大小，并增强保留权重的表现力。传统剪枝方法往往直接移除权重，导致信息丢失；而STP通过自蒸馏让保留的权重在训练中继续学习，从而在高度稀疏的情况下仍能保持模型性能。这一机制使得STP在ImageNet上对ResNet-50剪枝时，即使减少85%的浮点操作，仍能保持95.11%的Top-1准确率。
架构探索与子网变异的作用
为了找到最优的剪枝网络架构，STP采用了多维架构空间和知识蒸馏引导的探索策略，并引入子网变异扩展技术来减小蒸馏的容量差距。这意味着STP不仅关注权重的修剪，还主动搜索更高效的子网络结构。这种结合架构搜索与剪枝的方法，有助于在极端压缩下维持模型表现，为结构化剪枝提供了新的思路。
NLP领域稀疏剪枝的优势
文章指出，在自然语言处理领域，对预训练Transformer模型采用稀疏剪枝技术，相比直接压缩通道与层数，效果更为显著。基于GLUE数据集的实验表明，知识感知的稀疏剪枝方法可以实现20倍的参数和FLOPs压缩，而不会明显损失模型性能。这提示我们，在NLP任务中，稀疏剪枝可能是比结构化剪枝更有效的压缩途径。
剪枝策略的实践启示
文章汇总的多项研究表明，数据驱动的剪枝效果优于基于幅度的方法；渐进式剪枝比一次性剪枝在准确性上表现更好，尤其在目标尺寸较小时；对于中等压缩程度，低秩逼近能在尺寸减小和推理加速之间取得最佳平衡。这些发现为实际应用中的剪枝策略选择提供了参考，但需注意不同任务和模型可能需要调整具体方法。
Q&A
什么是结构化剪枝框架（STP）？
结构化剪枝框架（STP）是一种增强稀疏化范式，通过自蒸馏技术维持剪枝权重并提升模型表现的框架。
STP在极度剪枝情况下的表现如何？
STP在极度剪枝情况下仍能保持高准确率，例如在ImageNet上对ResNet-50剪枝时保持95.11%的Top-1准确率。
STP如何实现参数和计算量的压缩？
STP通过稀疏剪枝技术实现了参数和计算量的大幅压缩，而不损失模型性能。
STP在自然语言处理领域的应用效果如何？
在自然语言处理领域，STP的稀疏剪枝技术相比传统方法效果显著，能够有效提升模型性能。
自蒸馏技术在STP中的作用是什么？
自蒸馏技术在STP中用于维持剪枝权重的大小并增强保留权重的表现力。
STP的研究结果有哪些重要发现？
研究表明，STP在极度剪枝情况下仍能保持高准确率，并且在多种场景中表现出优于传统剪枝方法的效果。
