基于有向 Gromov-Wasserstein 差异的多视角动作识别
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
我们提出了一种多视角注意力一致性方法,使用有向 Gromov-Wasserstein 差异计算来自行动视频的两个不同视角的注意力之间的相似度。与最近的行动识别方法相比,我们提出的方法在三个大规模数据集上取得了最先进的结果。
🎯
关键要点
- 提出了一种多视角注意力一致性方法。
- 使用有向 Gromov-Wasserstein 差异计算不同视角的注意力相似度。
- 在单视角数据集上训练时,应用神经辐射场的思想隐式渲染新视角特征。
- 在三个大规模数据集上取得了最先进的结果:Jester、Something-Something V2 和 Kinetics-400。
➡️