来自 SAM 的区域可区分先验的视频帧插值
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
本文介绍了Fine-grained Motion Alignment(FIMA)框架,通过对比学习生成像素级的运动监督,消除时间和空间上的弱对齐,并提高运动特征的时间多样性。FIMA在UCF101、HMDB51和Diving48数据集上取得了最先进或竞争性的结果。
🎯
关键要点
-
提出了Fine-grained Motion Alignment(FIMA)框架,能够引入对齐良好且显著的运动信息。
-
通过密集的对比学习框架生成像素级的运动监督,消除时间和空间上的弱对齐。
-
设计了运动解码器和前景采样策略,以提高运动特征的时间多样性。
-
大量实验证明FIMA学习到的表示具有出色的动态感知能力。
-
FIMA在UCF101、HMDB51和Diving48数据集上取得了最先进或竞争性的结果。
-
代码可在https://github.com/ZMHH-H/FIMA找到。
➡️