基于骨架的人体交互识别的双流混合 CNN-Transformer 网络

💡 原文中文,约1600字,阅读约需4分钟。
📝

内容提要

本文综述了基于骨架的动作识别方法,包括:利用3D CNN提取时空与深度特征;采用Spatial-Temporal Transformer以自注意力建模骨骼运动;ST-TR分别通过空间和时间自注意力建模帧内关节依赖与帧间相关性;HIT融合RGB与姿态流建模人、物、手互动;此外还有结合身体与手部骨骼的注意力方法、Res-TCN、交互关系网络、2P-GCN、点云双人交互网络,以及GCN结合时序注意力转换器的方法。这些方法在NTU-RGB+D等数据集上均表现优异。

🔎

延伸解读

技术路线演进:从CNN/RNN到Transformer与GCN

文章按时间顺序梳理了骨架动作识别的发展脉络:早期方法依赖3D CNN提取时空与深度特征,并探讨与RNN的互补性;2020年后,Spatial-Temporal Transformer和ST-TR引入自注意力机制,分别建模关节依赖与帧间相关性;同时,GCN路线(如2P-GCN)通过图结构表示人体关节关系。读者可从中看出,研究重心正从卷积/循环网络转向注意力与图卷积的融合。

双流与多模态融合成为提升交互识别效果的关键

文章多次提到双流或多模态设计:ST-TR在两个流网络中结合空间与时间自注意力模块;HIT则融合RGB流与姿态流,分别建模人、物、手部互动,并通过Attentive Fusion机制整合特征。此外,还有方法结合身体骨骼与手部骨骼,利用注意力提取重要信息。这些设计表明,单一骨架模态难以充分捕捉复杂交互,融合外观与姿态信息是提升识别精度的有效途径。

评估基准集中,NTU-RGB+D系列是主要试金石

文中列举的方法大多在NTU-RGB+D 60和NTU-RGB+D 120上验证,部分方法还使用SBU、J-HMDB、UCF101-24、MultiSports、AVA及SmartHome等数据集。ST-TR、2P-GCN、点云双人交互网络等均在NTU系列上取得优于同类基准的结果。读者需注意,不同方法的数据集和评估设置不完全一致,跨研究比较时应关注具体实验条件,而非仅看精度数值。

交互识别从单人动作扩展到双人及人物互动

文章不仅涵盖单人骨架动作识别,还专门讨论了双人交互:2P-GCN用二人图表示人与人交互和身体内部相关性;点云双人交互网络融合局部区域空间信息、外观和动作信息,并采用时间间隔帧采样高效选取帧;HIT则建模人、物、手部互动。这些工作说明,交互识别需要显式建模个体间关系,而非简单拼接单人特征,图结构和关系网络是常见手段。

❓

Q&A

ST-TR网络是如何利用Transformer自注意力机制建模骨架关节依赖关系的?

ST-TR网络包含空间自我注意模块(SSA)和时间自我注意模块(TSA)。SSA用于理解不同身体部位之间的帧内相互作用,TSA用于建模帧间的相关性。两个模块在两个流网络中被结合使用,在NTU-RGB+D 60和120数据集上优于同类基准模型。

HIT网络如何融合多模态信息进行人体交互识别?

HIT是一个综合多模态Holistic Interaction Transformer网络,包含RGB流和姿态流,分别建模人、物和手部互动,并使用Attentive Fusion机制将每种模式的特征相结合,最终通过从时间背景中提取线索来更好地分类行动。

2P-GCN中的二人图是如何表示人与人交互的?

2P-GCN提出一种新型的二人图来表示关节之间的人与人交互和身体内部的相关性,并利用两个人图卷积网络来识别人与人交互和个体动作。在SBU、NTU-RGB+D和NTU-RGB+D 120三个数据集的四项基准测试中取得了最先进的结果。

基于点云的两人交互识别网络采用了哪些关键技术?

该网络采用时间间隔帧采样(IFS)方法高效采样帧,通过帧特征学习模块和两流多级特征聚合模块提取全局和局部特征,以表示交互相关的局部区域空间信息、外观信息和动作信息,最后应用transformer进行自注意力分类。

Res-TCN在3D人体动作识别任务中取得了什么成果?

Res-TCN是一种使用新型解释性模型TCN进行3D人体动作识别任务的方法,在最大的3D人体动作识别数据集NTU-RGBD上取得了最新的成果。

交互关系网络(Interaction Relational Network)的设计特点是什么?

交互关系网络是一种简单而强大的架构,利用了关于人体结构的最少先验知识,通过定义不同的关系和重要的有结构的成对运算来更好地表示交互,并使用LSTM来进行关系推论,实现了与先前最先进的方法相似的结果。

🏷️

标签

➡️

继续阅读