HDBN:用于鲁棒的基于骨架的动作识别的新型混合双分支网络

💡 原文中文,约1400字,阅读约需4分钟。
📝

内容提要

本文介绍了多种基于图卷积网络的骨架动作识别方法,如双流自适应图卷积网络和共生图神经网络。这些方法通过优化网络结构和特征提取,显著提高了在NTU-RGBD和Kinetics-Skeleton数据集上的识别性能,优于现有技术。

🎯

关键要点

  • 通过重新设计图形卷积网络的拆分、变换、合并策略,构建了一个模块化的图形卷积网络体系结构,用于骨架序列处理中的动作识别。

  • 提出的双流自适应图卷积网络 (2s-AGCN) 通过数据驱动的方法学习网络拓扑结构,包含一阶和二阶信息,实验结果显示其在 NTU-RGBD 和 Kinetics-Skeleton 数据集上表现优越。

  • 基于部件图卷积网络的人体动作识别模型将骨骼图分为四个子图,使用相对坐标和时间位移代替 3D 关节点特征,提升了识别性能。

  • 共生图神经网络模型解决了三维骨架动作识别和运动预测问题,采用双骨图和多尺度图卷积网络提取特征,实验结果优于现有方法。

  • 提出的骨架动作识别方法对噪声信息具有鲁棒性,通过最大化正常和噪声骨架之间的互信息进行训练,显示出明显的性能优势。

  • 研究了骨架动作识别中提取骨架联结的区分特征的问题,提出的 EfficientGCN-B4 基线在 NTU RGB+D 数据集上超越其他模型,且模型规模更小、训练速度更快。

  • 新的基于骨架的动作分类方法使用多层次空间时间图网络联合建模骨架运动模式,实验证明在多个大规模数据集上取得了最先进的性能。

  • 提出的基于图卷积网络的基线模型融合了多输入分支、残差 GCN 和全局部分注意力机制,能够有效提取骨骼动作特征,分类性能优于其他方法。

  • 多流图卷积网络提高了模型的鲁棒性,学习到所有骨架关节的最优特征,显著减轻了遮挡和干扰导致的性能下降。

  • 提出的三合一策略提高了图卷积网络的性能和准确率,BlockGCN 模型在 NTU RGB+D 120 数据集上表现出色,参数减少了 40% 以上。

延伸问答

什么是双流自适应图卷积网络 (2s-AGCN)?

双流自适应图卷积网络 (2s-AGCN) 是一种用于基于骨架的动作识别的网络,通过数据驱动的方法学习网络拓扑结构,包含一阶和二阶信息。

如何提高骨架动作识别的鲁棒性?

通过采用多流图卷积网络,可以提高模型的鲁棒性,学习到所有骨架关节的最优特征,显著减轻遮挡和干扰导致的性能下降。

基于部件图卷积网络的模型有什么优势?

基于部件图卷积网络的模型将骨骼图分为四个子图,使用相对坐标和时间位移代替3D关节点特征,从而提升了识别性能。

共生图神经网络模型解决了哪些问题?

共生图神经网络模型解决了三维骨架动作识别和运动预测问题,采用双骨图和多尺度图卷积网络提取特征。

EfficientGCN-B4基线模型的特点是什么?

EfficientGCN-B4基线模型在提取骨架联结的区分特征方面表现优越,且模型规模更小、训练速度更快。

新的基于骨架的动作分类方法有什么创新?

新的基于骨架的动作分类方法使用多层次空间时间图网络联合建模粗粒度和细粒度骨架运动模式,实验证明在多个大规模数据集上取得了最先进的性能。

🏷️

标签

➡️

继续阅读