LPViT：低功耗半结构化剪枝用于视觉 Transformer
内容提要
该论文提出了 UP-ViTs 统一结构修剪框架，旨在压缩 Vision Transformer 模型体积并提高准确性。通过稀疏输入令牌和软剪枝，显著降低计算成本，适用于移动设备和 FPGA。同时，研究提出了多种高效的压缩技术，如 HeatViT 和 NViT，优化了模型性能和资源利用，确保在保持精度的同时实现更高的计算效率。
延伸解读
剪枝技术演进：从统一框架到硬件协同
文章梳理了2021至2024年间ViT剪枝的多条技术路线。UP-ViTs作为统一结构修剪框架，兼顾压缩与精度提升；HeatViT则针对FPGA硬件优化，通过标记选择器和定点量化实现高效加速；NViT利用Hessian信息进行全局裁剪，在DeiT-Base上实现更高精度和更低计算量。这些方法反映了剪枝研究从通用算法向硬件感知、从局部到全局的演进趋势。
性能与效率的权衡：实际部署的关键指标
文章多次提及FLOPs、参数数量和准确率的变化。例如DIMAP在Swin-B上减少52.5% FLOPs和52.7%参数时，Top-5准确率仅下降0.07%；在Swin-S上减少33.2% FLOPs和参数时，准确率反而提升0.8%。这些数据表明，合理的剪枝策略可以在大幅压缩模型的同时保持甚至提升精度，但不同方法在不同模型和任务上的表现存在差异，实际部署需根据硬件资源和精度要求选择。
面向移动端与FPGA的部署考量
文章强调剪枝技术需满足移动设备和FPGA的资源规格。UP-ViTs通过输入令牌稀疏性和计算感知软剪枝降低计算成本，甚至在移动平台实现DeiT-T实时执行；HeatViT则针对嵌入式FPGA设计，通过重复利用硬件组件和量化训练优化推理延迟。这些案例说明，剪枝不仅是算法问题，还需与目标硬件特性紧密结合，才能实现真正的效率提升。
Q&A
UP-ViTs 框架的主要目标是什么？
UP-ViTs 框架旨在压缩 Vision Transformer 模型体积并提高准确性。
HeatViT 是什么，它的优势是什么？
HeatViT 是一种硬件高效的图像自适应标记修剪框架，优化了 ViT 在嵌入式 FPGA 上的加速性能。
NViT 方法如何提高 Vision Transformer 的性能？
NViT 是一种基于 Hessian 的全局结构裁剪方法，能够更高效地利用 ViT 模型参数，提升准确率并减少计算量。
CP-ViT 框架的工作原理是什么？
CP-ViT 通过动态预测信息含量低的部分，减少计算冗余并保持高准确性。
DIMAP 方法的特点是什么？
DIMAP 是一种数据无关的模块感知剪枝方法，能够有效压缩层级视觉转换器，并在减少 FLOPs 和参数时保持高准确率。
这些压缩技术适用于哪些设备？
这些压缩技术适用于移动设备和 FPGA，满足其资源规格要求。
