SNP：结构化神经元级剪枝以保持注意力分数
内容提要
本文探讨了多种针对视觉变换器（ViT）模型的压缩技术，重点在于提高计算效率和减少参数。提出了基于激活的结构化剪枝和自适应剪枝等方法，这些方法显著降低了模型参数和推理时间，同时保持了准确性，适用于移动设备和FPGA，推动了深度学习模型的高效应用。
延伸解读
剪枝策略的多样性
文章汇总了多种针对视觉变换器（ViT）的剪枝方法，包括基于激活的结构化剪枝、注意力头修剪、图形优化剪枝等。这些方法从不同角度减少模型冗余，例如利用输入令牌稀疏性、自适应剪枝注意力头或全局结构裁剪。这种多样性表明，ViT压缩没有单一最优解，需根据任务和硬件选择合适策略。
精度与效率的平衡
多个方法在减少参数和计算量的同时保持了准确性。例如，GOHSP在CIFAR-10上减少ViT-Small参数40%而不损失准确性；NViT-Base在ImageNet-1K上比DeiT-Base准确率更高且FLOPs更低。这说明结构化剪枝可以同时提升效率和精度，但具体效果取决于剪枝方法和模型规模。
面向实际部署的优化
文章提到一些方法专门针对移动设备和FPGA的资源限制，例如计算感知的软剪枝框架能在移动平台上实现DeiT-T的实时执行。此外，Single-Shot Meta-Pruning可自适应剪枝50%的注意力头，几乎不影响下游任务性能。这些工作推动了ViT在边缘设备上的落地，但实际部署仍需考虑硬件特性和任务需求。
Q&A
什么是计算感知的软剪枝框架？
计算感知的软剪枝框架利用输入令牌的稀疏性，显著减少 Vision Transformer 的计算成本，适用于移动设备和 FPGA。
GOHSP框架的主要优势是什么？
GOHSP框架能够在不损失准确性的情况下，将 ViT-Small 模型的参数减少 40%。
Single-Shot Meta-Pruning方法的特点是什么？
Single-Shot Meta-Pruning方法可以自适应地剪枝不必要的注意力头，降低精调和推理的开销，选择性剪枝 50% 的注意力头，几乎不影响下游任务性能。
自适应基于激活的结构化裁剪方法的效果如何？
该方法通过迭代性结构化裁剪和自适应剪枝策略，显著减少参数和 FLOPs，而不降低精度。
NViT方法的优势是什么？
NViT方法比以往更高效地利用 ViT 模型的参数，NViT-Base 在 ImageNet-1K 数据集上具备更高的准确率和更低的 FLOPs。
可微的子集剪枝技术如何实现精确控制？
可微的子集剪枝技术通过学习每个头的重要性变量，实现对多头注意力机制的精确控制，表现不亚于以往技术。
