时序差分侧网络用于图像到视频的迁移学习
内容提要
本文介绍了一种新的视频动作识别框架TSN，利用时间段网络学习ConvNet模型，在HMDB51和UCF101数据集上表现优异。还提出了记忆增强网络和时空建模机制等改进方法，进一步提升了动作识别的效果和准确性。
延伸解读
从TSN到TDN：时序建模的演进
文章梳理了视频动作识别中时序建模的发展脉络。2016年的TSN通过时间段网络学习ConvNet模型，在HMDB51和UCF101上分别达到69.4%和94.2%的准确率。此后，记忆增强网络、TDN等改进方法相继提出，逐步提升动作识别的效果与效率。TDN在Something-Something V1&V2上取得新最高水平，显示出时序差分建模的潜力。
轻量化与内存优化趋势
随着模型规模增大，内存效率成为视频理解的关键问题。文章提到Side4Video轻量级空时支路网络，可减少75%内存使用，并在多个视频数据集上实现卓越性能。时间信息适配器（TIA）则通过降低训练内存消耗，有效扩大时间动作检测系统的规模和输入帧数，显著提高检测性能。这些工作反映了在有限资源下提升视频模型实用性的努力。
CLIP自适应框架的扩展
文章介绍了基于CLIP模型的多种视频领域扩展。STAN时空建模机制将图像-文本预训练模型扩展到视频任务，在视频文本检索和识别中展现优越性。多模态、多任务CLIP自适应框架通过引入适配器和解码器，实现强大监督学习性能和零样本泛化能力。TC-CLIP则通过引入时间上下文信息和上下文令牌，提升视频理解和行为识别效果。
Q&A
什么是时序差分侧网络（TSN）？
时序差分侧网络（TSN）是一种新的视频动作识别框架，利用时间段网络学习ConvNet模型。
TSN在HMDB51和UCF101数据集上的表现如何？
TSN在HMDB51数据集上取得了69.4%的准确率，在UCF101数据集上达到了94.2%的准确率。
记忆增强的时间动态学习网络有什么作用？
它利用差分记忆控制器增强动作识别效果，通过将显著信息写入外部存储器来忽略不相关信息。
什么是Temporal Difference Network (TDN)？
TDN是一种新的视觉结构，通过高效的Temporal Difference Module捕获多尺度信息，提高动作识别效率。
STAN时空建模机制的主要优势是什么？
STAN机制将图像-文本预训练模型扩展到视频领域，在视频文本检索和视频识别任务中展现了优越性。
时间信息适配器（TIA）如何提高检测性能？
TIA通过降低训练内存消耗，增加时间动作检测系统的规模和输入视频的帧数，从而显著提高检测性能。
