频率导向的混合变换器用于骨骼动作识别

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

该研究提出了一种名为FreqMiXFormer的混合变压器模型,用于识别微妙区别运动的相似骨架动作。该模型通过嵌入关节特征到频率注意力图中,结合空间特征和频率特征,建模综合的频率-空间模式,并提取帧间的全局相关性。实验证明,FreqMiXFormer在骨架动作识别方面的性能优于目前的最先进方法。

🎯

关键要点

  • 提出了一种名为FreqMiXFormer的混合变压器模型。

  • 该模型用于识别具有微妙区别运动的相似骨架动作。

  • 通过嵌入关节特征到频率注意力图中,区分不同频率系数的运动。

  • 结合空间特征和频率特征,建模综合的频率-空间模式。

  • 通过时间变压器提取帧间的全局相关性。

  • 在NTU RGB+D、NTU RGB+D 120和NW-UCLA等数据集上验证实验表明,FreqMiXFormer的性能优于目前的最先进方法。

➡️

继续阅读