空间层次与时间注意力引导的跨掩蔽自监督骨架动作识别
原文中文,约400字,阅读约需1分钟。发表于: 。本研究针对自监督骨架动作识别中单一掩蔽标准导致模型过拟合特定特征的问题,提出了一种层次与注意力引导的跨掩蔽框架(HA-CM),从空间和时间两个维度进行掩蔽。研究结果表明,HA-CM在NTU-60、NTU-120和PKU-MMD等大规模数据集上表现出高效性和普适性,显著提升了模型对实例级特征的学习能力。
本文介绍了一种高效的骨架序列学习框架Skeleton Sequence Learning(SSL)。通过将骨架关节序列嵌入图卷积网络(GCN),并利用人体拓扑知识重构遮蔽关节和边,构建了SkeletonMAE编码器-解码器架构。结合时空表示学习模块,SSL在多个数据集上表现优异,超过了许多自监督方法,并与部分全监督方法相当。