MK-SGN: 基于脊柱的动作识别的融入多模态融合和知识蒸馏的脉冲图卷积网络
内容提要
本研究提出了一种多尺度图卷积模型用于骨骼动作识别，能够有效捕获空间和时间的依赖关系，表现出显著的性能提升。多个改进的模型如TSGCNeXt和MSST-GCN在图卷积网络结构上进行了优化，尤其在大规模数据集上取得了先进的动作识别准确性。
延伸解读
多尺度图卷积的核心思路
文章指出，多尺度空间图卷积和多尺度时间图卷积通过将局部图卷积分解为一系列子图卷积，形成分层残差体系结构。这种设计使模型能同时捕获空间和时间域中的短程与长程依赖关系，从而提升骨骼动作识别的性能。该思路在三个基准数据集上得到验证，为后续模型改进提供了基础框架。
代表性改进模型对比
文章列举了多个基于图卷积的改进模型：TSGCNeXt通过动态-静态分离多图卷积和训练加速机制，在NTU RGB+D 60和120上表现先进；MSST-GCN利用自注意力分别建模帧内身体部位关系和节点帧间相关性；MS-AAGCN则端到端学习图拓扑，并在NTU-RGBD和Kinetics-Skeleton上超越现有技术。这些模型从不同角度优化了图卷积网络。
技术演进与性能提升
从ST-GCN自动学习骨架时空表现，到FGCN引入多阶段时间采样和反馈图卷积模块实现全局时空建模，并独创早期预测概念，骨骼动作识别方法不断演进。多层次空间时间图网络联合建模粗粒度和细粒度运动模式，双头图网络和跨头部通信策略进一步提取多分辨率特征，在多个大规模数据集上取得最先进性能。
Q&A
MK-SGN模型的主要创新点是什么？
MK-SGN模型通过多尺度空间和时间图卷积捕获短程和长程依赖关系，显著提升了骨骼动作识别的性能。
TSGCNeXt方法如何提高骨架动作特征的学习效果？
TSGCNeXt通过动态-静态分离多图卷积和图卷积训练加速机制，有效学习长时间序列的骨架动作特征。
MSST-GCN模型的自注意力机制有什么作用？
MSST-GCN模型利用自注意力机制提高建模能力，理解不同身体部位之间的关系和节点帧之间的相关性。
多流注意力增强的自适应图卷积神经网络（MS-AAGCN）有什么优势？
MS-AAGCN能够端到端学习图的拓扑结构，并在大规模数据集上超过现有技术水平。
反馈图卷积网络（FGCN）是如何实现全局空间-时间特征建模的？
FGCN通过多阶段时间采样策略和反馈图卷积模块，实现全局空间-时间特征的建模。
新型骨骼动作分类方法的特点是什么？
该方法通过多层次空间时间图网络联合建模粗粒度和细粒度骨架运动模式，取得了最先进的性能。
