频率导向的混合变换器用于骨骼动作识别
原文中文,约400字,阅读约需1分钟。发表于: 。提出了一种特殊设计用于识别具有微妙区别运动的相似骨架动作的频率感知混合变压器 (FreqMiXFormer),通过嵌入关节特征到频率注意力图中,用于区分具有不同频率系数的运动,并采用混合变压器结构将空间特征和频率特征相结合,用以建模综合的频率 - 空间模式,并通过时间变压器提取帧间的全局相关性。在 NTU RGB+D、NTU RGB+D 120 和 NW-UCLA...
该研究提出了一种名为FreqMiXFormer的混合变压器模型,用于识别微妙区别运动的相似骨架动作。该模型通过嵌入关节特征到频率注意力图中,结合空间特征和频率特征,建模综合的频率-空间模式,并提取帧间的全局相关性。实验证明,FreqMiXFormer在骨架动作识别方面的性能优于目前的最先进方法。