来自 SAM 的区域可区分先验的视频帧插值

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本文介绍了Fine-grained Motion Alignment(FIMA)框架,通过对比学习生成像素级的运动监督,消除时间和空间上的弱对齐,并提高运动特征的时间多样性。FIMA在UCF101、HMDB51和Diving48数据集上取得了最先进或竞争性的结果。

🎯

关键要点

  • 提出了Fine-grained Motion Alignment(FIMA)框架,能够引入对齐良好且显著的运动信息。

  • 通过密集的对比学习框架生成像素级的运动监督,消除时间和空间上的弱对齐。

  • 设计了运动解码器和前景采样策略,以提高运动特征的时间多样性。

  • 大量实验证明FIMA学习到的表示具有出色的动态感知能力。

  • FIMA在UCF101、HMDB51和Diving48数据集上取得了最先进或竞争性的结果。

  • 代码可在https://github.com/ZMHH-H/FIMA找到。

➡️

继续阅读