BriefGPT - AI 论文速递
·
细粒度时空运动对齐以用于对比视频表示学习
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
本文提出了Fine-grained Motion Alignment（FIMA）框架，通过对比学习生成像素级的运动监督，消除时间和空间上的弱对齐。使用帧级运动对比损失提高运动特征的时间多样性。实验证明FIMA在UCF101、HMDB51和Diving48数据集上取得了竞争性结果。
🎯
关键要点
- 提出了Fine-grained Motion Alignment（FIMA）框架，旨在引入对齐良好的运动信息。
- 通过开发密集的对比学习框架生成像素级的运动监督，消除时间和空间上的弱对齐。
- 设计了运动解码器和前景采样策略以增强运动特征的表现。
- 引入帧级运动对比损失以提高运动特征的时间多样性。
- 实验证明FIMA在UCF101、HMDB51和Diving48数据集上取得了竞争性结果，展示了出色的动态感知能力。
- 相关代码可在GitHub上找到。
➡️
