空间层次与时间注意力引导的跨掩蔽自监督骨架动作识别
内容提要
本研究提出了多种基于骨架的自监督学习框架,如Hi-TRS、HiCo和SSL,旨在提升骨架动作识别的性能。这些方法利用层次化对比、局部关系学习和图卷积网络等技术,在多个数据集上取得了最先进的结果,展现了良好的泛化能力和鲁棒性。
关键要点
-
本研究提出了一种基于层次Transformer的骨架序列编码器的自监督层次预训练方案(Hi-TRS),旨在捕捉视频级别、片段级别和帧级别的时间依赖关系。
-
HiCo框架用于无监督骨架动作表示学习,通过层次化对比在多个粒度级别中表示输入,达到了最新的技术水平。
-
Partial Spatio-Temporal Learning(PSTL)框架利用部分骨骼序列的局部关系,构建负样本无人机结构,在多个基准测试中取得了SOTA表现。
-
Skeleton Sequence Learning(SSL)框架通过图卷积网络和先验人体拓扑知识重构遮蔽骨架,展现了良好的泛化能力,优于现有自监督骨骼动作识别方法。
-
提出了一种基于零样本骨骼动作识别的新方法,通过最大化视觉和语义空间之间的相互信息进行分布对齐。
-
探讨了开放集骨架动作识别的挑战,提出了一种基于距离的跨模态集成方法,取得了优秀的识别表现。
-
Skeleton2vec框架采用自注意机制和运动感知的管道掩蔽策略,表现优于现有方法,达到最先进水平。
-
设计了双分支架构,通过全局-局部-全局方式指导特征学习,提高了骨架动作识别的准确性和推理效率。
-
对基于骨架的自监督动作表征学习进行了全面调查,提出了一种综合多个先验任务的新型方法,显著提高了模型的泛化性能。
延伸问答
Hi-TRS框架的主要功能是什么?
Hi-TRS框架旨在捕捉视频级别、片段级别和帧级别的时间依赖关系,提升骨架动作识别的性能。
Partial Spatio-Temporal Learning(PSTL)框架的创新点是什么?
PSTL框架利用部分骨骼序列的局部关系,构建负样本无人机结构,并在多个基准测试中取得了SOTA表现。
Skeleton Sequence Learning(SSL)框架如何提高骨架动作识别的准确性?
SSL框架通过图卷积网络和先验人体拓扑知识重构遮蔽骨架,展现了良好的泛化能力,优于现有方法。
开放集骨架动作识别面临哪些挑战?
开放集骨架动作识别面临的挑战包括如何有效对骨骼关节、骨头和速度进行交叉模态对齐。
Skeleton2vec框架的主要特点是什么?
Skeleton2vec框架采用自注意机制和运动感知的管道掩蔽策略,表现优于现有方法,达到最先进水平。
这项研究对自监督动作表征学习的贡献是什么?
研究对自监督动作表征学习进行了全面调查,提出了一种新型方法,显著提高了模型的泛化性能。