不要以貌取人：视频识别的运动一致增强
内容提要
该论文探讨了运动模糊对图像描述的影响，提出了多种数据增强技术以提高目标检测和描述的鲁棒性。研究中介绍了自训练方法MotionFit，利用3D卷积神经网络和假标签提升视频任务效果。此外，提出了VideoMix增强策略，显著改善视频分类性能，并开发了结合物理合理性和运动修正的运动数据增强方案，以提升人体运动预测模型的表现。
延伸解读
运动模糊下的图像描述鲁棒性提升
文章指出，运动模糊会显著影响图像描述的质量。通过在目标检测和描述两个阶段引入数据增强，模型在高度运动模糊情况下的CIDEr-D指标降低到了11.7，表明增强技术有效提升了鲁棒性。这提示读者，在视频或运动场景中，数据增强是应对模糊干扰的关键手段。
自训练方法MotionFit的小样本优势
MotionFit结合3D卷积神经网络、运动模型和假标签进行自训练，在小规模视频数据集上表现优异，远超知识迁移、半监督学习和仅视频自监督学习等方法。这说明在标注数据有限时，利用运动信息和伪标签可以显著提升下游任务效果。
VideoMix增强策略的广泛有效性
VideoMix通过将视频立方体插入另一视频来生成新训练样本，在Kinetics和Something-Something-V2等基准上持续优于其他增强基线，并提升了THUMOS'14弱监督动作定位和AVA视频检测性能。这展示了简单而强大的数据增强对多种视频任务的通用性。
运动数据增强的物理合理性
针对人体运动预测，文章提出融合运动合成与运动修正的增强方案，使用修改后的VAE和IK进行合成，并通过物理仿真模仿学习与去偏置进行校正。该方法在RNN和GCN预测模型上优于基于噪声的增强，强调了物理合理性在运动增强中的重要性。
Q&A
运动模糊对图像描述有什么影响？
运动模糊会降低图像描述的鲁棒性，特别是在高度运动模糊的情况下，CIDEr-D得分降低至11.7。
什么是MotionFit自训练方法？
MotionFit是一种自训练方法，利用3D卷积神经网络和假标签来提升视频下游任务的效果，尤其在小规模视频数据集中表现优异。
VideoMix增强策略是如何工作的？
VideoMix通过将视频立方体插入另一个视频来创建新的训练视频，从而显著改善视频分类性能。
运动数据增强方案的主要特点是什么？
该方案结合了多样性的运动合成和物理合理性的运动修正，使用修改后的VAE和IK进行运动合成。
如何提高视频分类任务的性能？
通过使用不同的数据增强策略和结合现有的半监督学习框架，可以在低标签模式下提高视频分类任务的性能。
该研究对人体运动预测模型有什么贡献？
研究开发的运动数据增强方案在基于循环神经网络和图卷积网络的人体运动预测模型中表现优于以往的基于噪声的运动增强方法。
