MK-SGN: 基于脊柱的动作识别的融入多模态融合和知识蒸馏的脉冲图卷积网络

本研究提出了一种名为多尺度时空自注意力网络的混合模型，通过使用自注意力图卷积网络技术，有效提高了建模能力，并在多个数据集上取得了最先进的结果。该模型利用自空间和自时间注意力模块分别研究帧内身体部位之间的关系和节点帧之间的相关性。通过多尺度卷积网络捕获节点的长程时空依赖关系，并使用 softmax 分类器输出预测的动作。