行动识别的泰勒视频
内容提要
该文综述视频动作识别方法，包括：自监督学习区分时间变换，无需标注；改进密集轨迹与Fisher编码；以运动矢量替代光流加速双流网络并迁移知识，提速27倍；MobileNetV2结合TTP实现移动端40FPS；光流功率归一化提升性能；SlowFast与TSM结合残差帧；PEM与TD Loss减少2D CNN冗余；加速度流增强运动表示；并用于动作检测与运动类型分类。
延伸解读
自监督学习减少标注依赖
文章提到一种自监督学习方法，通过训练神经网络区分不同的时间变换视频序列，无需人工标注即可学习对动态运动变化有响应的视频表征。这种方法能准确识别视频中的不稳定运动，并增强神经网络在小数据集上的训练效果。实验证明，该方法可显著提高UCF101和HMDB51上的动作识别传递性能，为标注数据稀缺的场景提供了可行方案。
运动矢量替代光流的加速策略
为提升双流架构速度，文章介绍用运动矢量直接代替计算光流，并通过初始化转移、监督转移及组合方式，将光流CNN中学习的知识转移到运动矢量CNN。实验表明，该方法识别性能可与最先进方法媲美，同时处理速度比原始双流方法快27倍。这为实时动作识别提供了高效途径，但需注意知识转移的有效性依赖源域与目标域的相关性。
移动端与多模态融合的实践
文章提出基于MobileNetV2和Temporal Trilinear Pooling模块的方法，使用多种模态处理压缩视频，在移动设备上实现40FPS识别速度，且模型大小和时间消耗表现优异。此外，结合SlowFast网络和TSM方法，以残差帧作为RGB帧的补充，通过3D卷积与2D卷积组合在UCF101上从头训练取得更好性能。这些方案为移动端和资源受限场景提供了参考。
光流改进与运动表示增强
文章研究不同类型光流及特征提取，通过对光流动态进行功率归一化纠正流动态并提高性能，再将修正后的流动态集成到流行模型中，并通过幻觉步骤翻译CNN特征图到不同尺度光流特征，在多个基准测试中取得最佳性能。同时，采用一阶微分速度和二阶微分加速度分析，证明加速度流能有效提高运动表示效果。这些改进从数据预处理和特征层面提升了动作识别精度。
Q&A
如何在不使用人工标注数据的情况下进行视频动作识别？
可以采用自监督学习方法，通过训练神经网络区分不同的时间变换视频序列，使模型学习到对动态运动变化有响应的视频表征，从而无需人工标注即可识别不稳定运动，并提升在小数据集上的训练效果。
有哪些方法可以加速双流网络在视频动作识别中的处理速度？
可以用运动矢量直接代替计算光流来加速双流架构，并通过初始化转移、监督转移或它们的组合，将光流CNN中学习的知识转移到运动矢量CNN中，这样识别性能可与最先进方法媲美，同时处理速度比原始双流方法快27倍。
如何在移动设备上实现实时视频动作识别？
可以基于MobileNetV2和Temporal Trilinear Pooling (TTP)模块，使用多种模态处理压缩视频，该模型在移动设备上能达到40FPS的识别速度，且在模型大小和时间消耗方面表现优异。
光流动态的功率归一化对动作识别性能有什么影响？
对光流动态进行功率归一化可以纠正流动态并提高性能，将修正后的流动态集成到流行模型中，并通过简单的幻觉步骤将CNN特征图翻译到不同尺度的光流特征，能在多个基准测试中取得最佳性能。
如何结合SlowFast和TSM来提升视频动作识别性能？
可以结合SlowFast网络和TSM方法，使用残差帧作为输入，与RGB帧输入模型形成优秀补充，通过3D卷积（SlowFast）与2D卷积（TSM）的组合取得更好的性能结果，实验在UCF101上从头开始训练。
如何减少2D CNN在视频分析中的冗余信息利用？
可以通过设计渐进式增强模块（PEM）和创建时间多样性损失（TD Loss）两种方法，解决将2D CNN应用于视频分析中出现的重复和冗余信息利用问题，在Something-Something V1和V2等基准上分别取得2.4%和1.3%的性能改进，并在Kinetics数据集上也有提升。
加速度流在运动表示中有什么作用？
运动表示中时间差异信息非常重要，采用一阶微分速度和二阶微分加速度来分析，证明在卷积神经网络中使用加速度流可以有效地提高运动表示的效果。
如何利用2D图像物体检测技术进行动作检测？
可以使用从2D图像中物体检测领域的最新进展，利用形状和运动线索建立动作模型，并通过运动显著性选择图像区域提取时空特征建立强分类器，从而得出时间一致的动作检测结果。
运动类型分类如何用于视频理解？
通过运动类型分类来理解对象运动，分类器可以将给定视频分配到五种不同的原始运动类中，获得的表征性能良好，适用于具有挑战性的下游视频检索任务，还可基于运动类型分类器提出视频播放风格的推荐系统。
