基于多尺度时空自注意力图卷积网络的基于骨架的动作识别
内容提要
本研究提出了一种多尺度图卷积模型用于骨骼动作识别，结合空间和时间特征，显著提升了识别性能。新模型如TGN、MS-AAGCN和ST-GCN在大规模数据集上表现优异，超越了现有技术。
延伸解读
多尺度图卷积的核心思路
文章指出，通过将局部图卷积分解为一系列子图卷积，形成分层残差结构，模型能同时捕获空间和时间域中的短程与长程依赖。这种多尺度设计是提升骨骼动作识别性能的关键，使图卷积网络能更灵活地处理骨架序列的复杂时空关系。
代表性模型的技术特点
文中列举了多个模型：TGN结合多尺度图策略提取时空特征；MS-AAGCN通过多流注意力端到端学习图拓扑，并利用空时通道注意模块关注重要关节、帧和特征；ST-GCN自动学习骨架的空间和时间表现；AGC-LSTM用注意力增强关键节点特征差异性；TE-GCN构建时间关系图并引入多头机制；Ta-CNN则用纯CNN架构和跨通道特征增强模块实现拓扑感知。
性能表现与评估基准
这些模型在多个基准数据集上进行了评估，包括NTU-RGBD、Kinetics-Skeleton等。MS-AAGCN在大规模数据集上超越了现有技术水平；ST-GCN在动作识别和泛化能力上远优于之前方法；AGC-LSTM在两个数据集上表现优于最先进方法；TE-GCN在两个大型数据集上取得最先进性能；Ta-CNN在四个数据集上优于现有基于CNN的方法，并在GFLOPs和参数要求上明显优于GCN-based方法。
Q&A
多尺度图卷积模型在骨骼动作识别中的作用是什么？
多尺度图卷积模型能够捕获空间和时间域中的短程和长程依赖关系，从而显著提升骨骼动作识别的性能。
TGN模型的主要特点是什么？
TGN模型结合了多尺度图策略，能够提取骨骼序列的时空特征，取得更好的实验结果。
MS-AAGCN模型如何提高动作识别的效果？
MS-AAGCN模型通过多流注意力增强，能够端到端学习图的拓扑结构，并提高对重要关节和特征的关注。
ST-GCN模型在动作识别中有什么优势？
ST-GCN模型能够自动学习骨架在空间和时间上的表现，且在动作识别和泛化能力方面表现优异。
AGC-LSTM网络是如何提高特征差异性的？
AGC-LSTM网络通过注意力机制提高每个层中关键节点的特征差异性，从而在空间和时间特征上提取关键特征。
TE-GCN模型在时间关系图构建中有什么创新？
TE-GCN模型在时间关系图构建中取得了最先进的性能，并通过多头机制进一步探索时间关系图。
