用于动作识别的人体骨架主动生成网络

💡 原文中文,约1500字,阅读约需4分钟。
📝

内容提要

该文综述基于骨架的动作识别研究,重点介绍多种图卷积网络方法:AGC-LSTM结合注意力机制,MS-AAGCN多流自适应图卷积,RA-GCN增强遮挡鲁棒性,SGN分层建模关节关系,ST-GCN自动学习时空特征,2s-AGCN双流自适应网络,A²GNN动作关注图神经网络,以及利用互信息抗噪的方法,均在NTU-RGBD和Kinetics-Skeleton等数据集上取得领先性能。

🔎

延伸解读

技术演进脉络

文章按时间顺序梳理了基于骨架动作识别的关键模型,从2017年的A²GNN到2021年的多层次时空图网络,展现了图卷积网络在该领域的快速迭代。早期方法如ST-GCN和2s-AGCN侧重自动学习时空特征与拓扑结构,后续研究则引入注意力机制、多流框架和抗噪设计,逐步提升模型在复杂场景下的鲁棒性和精度。

核心方法对比

不同模型在解决特定问题上各有侧重:AGC-LSTM结合注意力增强关键节点特征;MS-AAGCN通过多流框架融合关节、骨骼及运动信息;RA-GCN利用未激活关节提升遮挡鲁棒性;SGN以分层建模关节关系实现小模型高性能;A²GNN则通过动作关注层自适应加权关节。这些方法共同推动了骨架动作识别技术的多样化发展。

性能与评估基准

文章多次提及NTU-RGBD和Kinetics-Skeleton两个大规模数据集作为评估基准,多数模型在这两个数据集上取得了领先性能。例如,MS-AAGCN和2s-AGCN在两者上均超越现有方法,RA-GCN在NTU RGB+D上表现可比并显著减轻遮挡影响。这些基准的广泛使用促进了方法间的公平比较和领域进步。

鲁棒性与泛化能力

针对实际应用中骨架数据常受遮挡和噪声干扰的问题,文章介绍了多种增强鲁棒性的策略:RA-GCN从尚未激活的关节中学习特征,互信息方法通过最大化正常与噪声骨架间的互信息提升抗噪性,多流图卷积网络则学习所有关节的最优特征以减轻性能下降。这些工作表明,鲁棒性已成为骨架动作识别研究的重要方向。

❓

Q&A

基于骨架的动作识别中,ST-GCN 有什么特点?

ST-GCN 是一种空间-时间图卷积网络,能够在不借助人工干预的情况下自动学习骨架在空间和时间上的表现,在动作识别和泛化能力方面远优于之前的方法。

AGC-LSTM 是如何提升动作识别性能的?

AGC-LSTM 通过注意力机制增强每个 AGC-LSTM 层中关键节点的特征差异性,同时在空间和时间特征上提取关键特征,并在时间与空间领域之间探索联合关系,从而在两个数据集上表现优于现有最先进方法。

2s-AGCN 的双流框架具体指什么?

2s-AGCN 的双流框架包含一阶和二阶信息,通过数据驱动的方法学习网络拓扑结构,并在 NTU-RGBD 和 Kinetics-Skeleton 数据集上证明了优越性。

RA-GCN 如何应对骨架不完整或遮挡的情况?

RA-GCN 是一种富激活 GCN 的多流图卷积网络,从尚未激活的关节中学习特征,以增强不完整骨架的动作识别模型的稳健性,在 NTU RGB+D 数据集上实现了可比较的性能,并显著减轻了虚拟遮挡数据集的性能下降。

SGN 模型在动作识别中有什么创新?

SGN 通过包含模型中的关节高级语义,以及通过两个模块分层建模关节之间的关系,在模型尺寸较小的情况下达到了目前最先进的性能水平。

A²GNN 是如何处理骨架关节的?

A²GNN 将每个不规则骨架构造为一个无向属性图,对属性图进行本地谱图滤波以提取高级语义表示,并设计动作关注层来适应性地对骨架关节点进行加权,最后将谱图过滤、动作关注和循环编码集成在一起共同训练。

有哪些方法可以提升骨架动作识别对噪声的鲁棒性?

RA-GCN 通过从尚未激活的关节中学习特征来增强不完整骨架的鲁棒性;另一种方法通过最大化正常和噪声骨架之间的互信息以预测编码方式来训练模型,对噪声信息具有鲁棒性。

🏷️

标签

➡️

继续阅读