ActNetFormer：半监督视频动作识别的 Transformer-ResNet 混合方法
内容提要
本文介绍了基于Transformer的模型在视频中识别和定位人类动作的应用。研究表明，视觉Transformer在动作识别中优于CNN，并通过知识蒸馏和新模块的引入显著提升了识别准确性。该模型在多个数据集上表现优异，展示了其在动作识别领域的潜力。
延伸解读
混合架构的设计思路
文章提到一种融合Transformer和CNN的混合架构，通过CNN增强视频表示，再交由Transformer提取时空标记。这种设计结合了CNN的局部特征提取能力和Transformer的全局建模优势，旨在提升RGB视频活动识别的性能。
知识蒸馏的作用
通过知识蒸馏，将较大的教师模型（如卷积网络）的知识传递给较小的学生模型（如视觉Transformer），扩展了对局部和全局特征的关注，从而显著提升了动作识别的准确性和平均精度。
半监督学习的进展
基于生成对抗网络（GAN）的半监督动作识别框架，利用DCGAN进行无监督学习，再通过有标签数据微调鉴别器，在UCF101和HMDB51等数据集上达到了与半监督方法相当的性能，展示了半监督学习在动作识别中的潜力。
模型性能与数据集表现
ActNetFormer及相关模型在多个数据集上表现优异，如在Stanford40和PASCAL VOC 2012上分别达到95.5%和91.5%的mAP，在UCF-101、HMDB-51和ActivityNet上top-1准确率超越现有技术，ActionFormer在THUMOS14上达到71.0% mAP。
Q&A
什么是ActNetFormer模型？
ActNetFormer模型是一种基于Transformer的架构，用于识别和定位视频中的人类动作，聚合时空背景特征。
ActNetFormer在动作识别中的优势是什么？
ActNetFormer在动作识别中优于CNN，表现出对伪图像表示的敏感性较低，且通过知识蒸馏显著提升了识别准确性。
该模型在数据集上的表现如何？
在Stanford40和PASCAL VOC 2012数据集上，ActNetFormer分别达到了95.5%和91.5%的mAP。
如何提高动作识别的准确性？
通过知识蒸馏结合CNN和ViT模型，可以显著提升动作识别的准确性和平均精度。
ActFormer模型的特点是什么？
ActFormer模型采用多尺度特征表示和本地自我注意力机制，在THUMOS14和ActivityNet 1.3中表现优异。
半监督学习在动作识别中的应用是什么？
基于生成对抗网络的动作识别框架实现了半监督学习，能够在UCF101和HMDB51等数据集上取得优良表现。
