频率导向的混合变换器用于骨骼动作识别
内容提要
本文介绍了多种基于Transformer的骨架动作识别方法，如STTFormer、SkateFormer和ST-TR。这些方法利用自注意力机制建模关节间的依赖关系，显著提升了在大型数据集上的识别精度，优于现有技术。
延伸解读
技术演进：从空间建模到时空联合
文章梳理了骨骼动作识别中Transformer方法的演进脉络。早期ST-TR（2020）分别用空间自注意力和时间自注意力建模关节内与帧间关系，但未捕捉帧间不同关节的相关性。STTFormer（2022）针对此问题提出时空元组Transformer，实现了帧间关节相关性的捕获。SkateFormer（2024）则进一步划分关节和帧的时空关系，进行选择性注意力计算，提升效率。这一演进显示研究从分离时空建模走向联合建模，并逐步关注计算效率。
频域信息的引入与价值
文章提到多项工作将频域分析引入骨骼动作识别。例如，一项2018年的研究同时提取时域和频域信息中的细节与语义信息，并设计残差频率注意块和同步本地与非本地块。PoseFormerV2（2023）利用频域紧凑的骨骼序列表示扩大接受域，增强噪声鲁棒性，实现时域和频域特征融合。这表明频域方法能补充时域建模的不足，提升模型对噪声的鲁棒性和速度-准确性平衡。
数据增强与无监督学习的探索
文章还涉及数据增强和无监督学习方向。一项2023年的研究使用DDPM和ST-Trans生成高质量、多样化的顺序动作序列，以提高现有动作识别模型的性能。另一项2022年的工作提出结合全局和局部注意机制的Transformer模型，通过新的预训练策略实现骨架运动序列的无监督学习。这些探索旨在缓解标注数据依赖，提升模型泛化能力，是骨骼动作识别的重要补充方向。
Q&A
STTFormer 方法的主要优势是什么？
STTFormer 方法能够捕获帧间关节之间的相关性，在大型数据集上表现优于现有技术。
SkateFormer 是如何提高行动识别效率的？
SkateFormer 通过划分关节和帧的时空关系，进行选择性关注，从而提高了行动识别的效率。
ST-TR 网络的自我注意机制是如何工作的？
ST-TR 网络利用空间和时间自我注意模块建模 3D 骨架中关节间的依赖关系，提升识别精度。
基于 Spatial-Temporal Transformer 的方法有什么优势？
该方法成功提取骨骼运动信息，在多个大规模数据集上表现出更好的精度。
研究中提到的优化分类器的策略是什么？
研究提出利用空间-时间梯度聚焦相关特征，优化分类器的关注点，取得竞争力的结果。
这些骨架动作识别方法在数据集上的表现如何？
这些方法在多个大型数据集上均表现优于现有技术，显示出较高的识别精度。
