基于有向 Gromov-Wasserstein 差异的多视角动作识别

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

我们提出了一种多视角注意力一致性方法,使用有向 Gromov-Wasserstein 差异计算来自行动视频的两个不同视角的注意力之间的相似度。与最近的行动识别方法相比,我们提出的方法在三个大规模数据集上取得了最先进的结果。

🎯

关键要点

  • 提出了一种多视角注意力一致性方法。
  • 使用有向 Gromov-Wasserstein 差异计算不同视角的注意力相似度。
  • 在单视角数据集上训练时,应用神经辐射场的思想隐式渲染新视角特征。
  • 在三个大规模数据集上取得了最先进的结果:Jester、Something-Something V2 和 Kinetics-400。
➡️

继续阅读