HaltingVT: 适用于高效视频识别的自适应停止令牌变换器
内容提要
该文综述了多种提升视觉Transformer效率的方法，包括：A-ViT通过自适应减少令牌数提高效率；基于剪枝与恢复的3D人体姿态估计方法；语义标记ViT通过降维提升效率；SVT利用语义池模块减少视频冗余；可学习回归标记用于视频事件定位；FPGA硬件高效标记修剪框架HeatViT；STTS动态选取视频关键信息；VTN视频识别框架实现提速；AVT基于注意力预测未来动作，在多个基准测试中表现优异；EVAD高效视频动作检测框架降低计算复杂度并提速。
延伸解读
效率优化路径的多样性
文章综述的方法从不同角度提升视觉Transformer效率：A-ViT通过自适应减少令牌数，SVT利用语义池模块聚合表示，HeatViT则结合FPGA硬件进行标记修剪。这些路径分别针对算法动态性、特征冗余和硬件协同，说明效率优化并非单一策略，而是根据部署场景和任务需求选择不同切入点。
视频任务中的冗余处理
视频输入存在固有冗余，STTS动态选择关键信息，SVT的语义池模块沿深度聚合潜在表示，VTN通过整个序列的注意力机制实现分类。这些方法共同指向一个思路：减少视频帧或令牌的冗余计算，同时保持识别准确率。VTN在训练和推断时分别快16.1倍和5.1倍，体现了精度与速度的权衡。
硬件与算法协同的实践意义
HeatViT在嵌入式FPGA上实现ViT加速，通过标记选择器复用硬件组件，并结合定点量化与多阶段训练。这表明效率提升不仅依赖算法简化，还需考虑硬件特性。对于边缘部署场景，这种软硬件协同设计可能比纯算法优化更具实际价值，但文章未提供具体能效数据。
动作预测与检测的专门化设计
AVT基于注意力机制预测未来动作，在四个动作预测基准上达到最佳性能；EVAD针对视频动作检测，通过关键帧提取时空令牌并利用剩余令牌细化场景，降低计算复杂度43%并提速40%。两者说明针对特定视频任务（预测 vs 检测）设计专门化架构，能在不牺牲性能的前提下显著提升效率。
Q&A
A-ViT 是如何在不改变网络架构的情况下降低 ViT 推理成本的？
A-ViT 基于自适应计算时间（ACT）重新表述，通过自动减少视觉转换器中处理的令牌数来降低推理成本，且无需修改网络架构或推理硬件，在图像分类任务上显著提升了性能。
SVT 中的语义池模块（SPM）有什么作用？
SVT 包含语义池模块（SPM），该模块根据语义沿着视觉变换器的深度聚合潜在表示，从而减少视频输入中固有的冗余，在 Kinetics-400 和 Something-Something-V2 数据集上验证并提高了 MAE 预训练 ViT-B、ViT-L 以及 MViTv2-B 的准确性。
HeatViT 如何在 FPGA 上实现高效的 ViT 加速？
HeatViT 是一种硬件高效的图像自适应标记修剪框架，通过显著重复利用现有硬件组件实现标记选择器，并使用固定点量化和多阶段训练策略优化插入标记选择器的变压器块，从而在嵌入式 FPGA 上提高准确性和推理延迟，或在相似计算成本下获得更高准确性，或在相似准确性下实现更高计算量减少。
VTN 视频识别框架相比传统 3D ConvNets 有什么优势？
VTN 基于 Transformer，通过整个视频序列的注意力机制实现动作分类，在训练和推断时分别比传统 3D ConvNets 快 16.1 倍和 5.1 倍，同时在 Kinetics-400 数据集上获得了有竞争力的结果，体现了精度与推断速度之间的权衡。
AVT 模型在动作预测任务中表现如何？
AVT 是一种基于注意力机制的端到端视频建模架构，通过关注之前观察过的视频来预测未来动作，在训练时同时预测视频序列中的下一个动作。它在四个流行的动作预测基准测试（EpicKitchens-55、EpicKitchens-100、EGTEA Gaze+ 和 50-Salads）上达到了最佳性能，并在 EpicKitchens-100 CVPR'21 挑战赛中获得第一名。
EVAD 框架如何降低视频动作检测的计算复杂度？
EVAD 是一种基于视觉句子转换器的高效视频动作检测框架，包含两个设计：从关键帧-centric 视角提取时空令牌进行中间特征显著化，以及利用剩余令牌细化场景环境以获得精确的演员身份识别。该框架可将计算复杂度降低 43%，提高实时推断速度 40%，而不会降低性能，并可在类似计算成本下使用更高分辨率输入提升性能。
