MK-SGN: 基于脊柱的动作识别的融入多模态融合和知识蒸馏的脉冲图卷积网络

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本研究提出了一种名为多尺度时空自注意力网络的混合模型,通过使用自注意力图卷积网络技术,有效提高了建模能力,并在多个数据集上取得了最先进的结果。该模型利用自空间和自时间注意力模块分别研究帧内身体部位之间的关系和节点帧之间的相关性。通过多尺度卷积网络捕获节点的长程时空依赖关系,并使用 softmax 分类器输出预测的动作。

🎯

关键要点

  • 本研究提出了一种名为多尺度时空自注意力网络的混合模型。

  • 该模型使用自注意力图卷积网络技术,提高了建模能力。

  • 在多个数据集上,该模型取得了最先进的结果。

  • 模型利用自空间注意力模块理解帧内身体部位之间的关系。

  • 模型利用自时间注意力模块研究节点帧之间的相关性。

  • 通过多尺度卷积网络捕获节点的长程时空依赖关系。

  • 模型将节点组合成高层次的时空表示,并使用softmax分类器输出预测的动作。

➡️

继续阅读