细粒度时空运动对齐以用于对比视频表示学习
原文中文,约400字,阅读约需1分钟。发表于: 。在本文中,我们提出了一个 Fine-grained Motion Alignment(FIMA)框架,它能够引入对齐良好且显著的运动信息。通过在时空领域中开发密集的对比学习框架来生成像素级的运动监督,并设计了运动解码器和前景采样策略来消除时间和空间上的弱对齐。此外,提出了帧级运动对比损失来提高运动特征的时间多样性。大量实验证明,由 FIMA 学习到的表示具有出色的动态感知能力,在...
本文提出了Fine-grained Motion Alignment(FIMA)框架,通过对比学习生成像素级的运动监督,消除时间和空间上的弱对齐。使用帧级运动对比损失提高运动特征的时间多样性。实验证明FIMA在UCF101、HMDB51和Diving48数据集上取得了竞争性结果。