SITAR：用于动作识别的半监督图像变换器
内容提要
本文介绍了一种结合手工特征与深度学习的视频动作识别方法，显著提升了识别精度。通过利用未标记视频和多视角伪标记，提出了多种半监督学习技术，增强了在少量标记数据下的识别性能。最新的SAFSAR模型通过3D特征提取和有效的特征融合，进一步改善了动作识别效果。
延伸解读
半监督学习在动作识别中的演进
文章梳理了从2016年至2024年半监督视频动作识别的发展脉络。早期方法利用大量网络视频预训练，随后出现基于播放速度的时间对比学习、多视角伪标记、时态梯度提升多模态特征提取等技术。这些方法逐步减少对标记数据的依赖，并在多个基准测试中提升性能。
多视角伪标记与共享模型设计
2021年提出的多视角伪标记方法利用外观和运动信息的互补视角生成更可靠的伪标签，从而学习更强的视频表示。该方法在多个数据集上大幅优于纯监督方法，且训练一个共享外观和运动输入的模型，推理时不会增加额外计算开销。
SAFSAR模型的创新与效果
2023年提出的SAFSAR模型是一种语义感知少样本动作识别方法。它直接利用3D特征提取器，结合有效的特征融合方案和余弦相似度分类，无需复杂距离函数和额外时间建模组件。该模型能编码文本语义、自适应融合视频特征，并鼓励视觉编码器提取语义一致的特征，在五个少样本基准上显著提升了最先进性能。
跨体系伪标签与对比学习
2024年提出的方法结合3D卷积神经网络和视频变换器，利用跨体系伪标签与对比学习进行半监督行为识别。这种独特方法能有效捕捉行为的局部和全局上下文信息，在仅使用少量标记数据的情况下实现了卓越性能，代表了半监督动作识别的最新进展。
Q&A
SITAR方法是如何提升视频动作识别精度的？
SITAR方法结合了手工特征与深度学习，通过利用未标记视频和多视角伪标记，显著提升了识别精度。
SAFSAR模型的主要特点是什么？
SAFSAR模型通过3D特征提取和有效的特征融合，能够在少量标记数据下实现更好的动作识别性能。
半监督学习在视频动作识别中的作用是什么？
半监督学习通过利用未标记视频和伪标记技术，增强了在少量标记数据下的识别性能。
如何利用未标记视频进行动作识别？
可以通过学习两通道时间对比模型，提取时间信息，从而利用未标记视频进行动作识别。
SITAR方法在基准测试中的表现如何？
SITAR方法在五个动作识别基准测试中取得了显著的数据效率和精度提升。
SAFSAR模型与其他模型相比有什么优势？
SAFSAR模型在各种设置下对五个少样本动作识别基准的实验中，显著提高了最先进的性能。
