高效的视觉 Transformer 的令牌传播控制器
内容提要
该文综述视觉Transformer（ViT）的加速方法：基于图的标记传播（GTP）降低复杂度并保留信息；令牌剪枝与汇聚框架PPT在ImageNet上使DeiT-S的FLOPs降低37%、吞吐量提升45%以上且不损精度；IdleViT动态闲置图像令牌，复杂度降低33%、精度仅降0.2%；此外还有语义标记、PSViT、TORE、FPGA框架HeatViT、渐进采样PS-ViT及自适应A-ViT等方法，兼顾效率与准确率。
延伸解读
令牌冗余处理的两条路径
文章介绍了两种处理视觉Transformer令牌冗余的思路：GTP将不重要令牌的信息传播到相关令牌上，避免信息丢失；PPT则结合剪枝与汇聚，自适应应对不同层次的冗余。两者都旨在降低计算量而不损害精度，但GTP侧重信息保留，PPT侧重多层次冗余的协同处理，为后续方法提供了不同范式。
动态闲置令牌的折中策略
IdleViT通过动态选择参与计算的令牌子集，并将未选令牌直接传递到输出，而非彻底删除，从而在后续层重新选择时减轻早期错误剪枝的影响。实验显示其可降低33%复杂度，ImageNet精度仅降0.2%，且在保留比例0.5时优于EViT。这种“闲置而非删除”的设计为平衡效率与准确率提供了新思路。
硬件协同与自适应推理
HeatViT针对FPGA部署，通过硬件高效的令牌选择器和定点量化优化，在相似计算成本下提升准确性或减少计算量。A-ViT则基于自适应计算时间，在不修改网络架构或推理硬件的情况下自动减少令牌数。两者分别从硬件协同和推理自适应角度，展示了ViT加速的多样化实现路径。
Q&A
GTP方法是如何在降低ViT计算复杂度的同时保留重要信息的？
GTP（基于图的标记传播）通过将不重要的标记信息传播到与之相关性更大的标记上，从而在降低计算复杂度的同时保持了被剔除标记的重要信息。
PPT框架在ImageNet上对DeiT-S模型的具体加速效果如何？
PPT在ImageNet数据集上使DeiT-S的FLOPs降低了37%，吞吐量提高了45%以上，而没有准确性下降。
IdleViT如何避免早期错误剪枝对模型性能的负面影响？
IdleViT在各层中选择参与计算的图像令牌子集，其余令牌保持空闲并直接传递给该层输出，通过在后续层重新选择空闲令牌，减轻了早期错误剪枝的负面影响。
HeatViT框架在FPGA上实现高效ViT加速的关键技术是什么？
HeatViT通过显著重复利用现有硬件组件来实现标记选择器，使用固定点量化和多阶段训练策略来优化插入标记选择器的变压器块，从而在FPGA上实现高效且准确的ViT加速。
PS-ViT网络相比原始ViT在ImageNet上的准确率提升多少？
PS-ViT在ImageNet数据集上比原始ViT网络高3.8%的top-1准确性（使用约4倍的参数和10倍的运算次数）。
A-ViT方法如何在不修改网络架构的情况下降低ViT的推理成本？
A-ViT基于自适应计算时间（ACT）重新表述，通过自动减少处理网络的视觉转换器中的令牌数来实现，无需修改网络架构或推理硬件。
