基于骨架的动作识别的无监督空间时间特征增强与保真网络
内容提要
该文综述基于骨架的动作识别进展，涵盖无监督、自监督及一次性学习方法，利用编码器-解码器、多任务学习、对比学习和时空图网络等技术，提升跨视图与异常识别性能，在NTU等数据集上达到先进水平。
延伸解读
无监督与自监督方法的技术路线
文章梳理了基于骨架动作识别中无监督与自监督学习的主要技术路线。无监督方法以编码器-解码器递归神经网络为代表，无需标签或深度输入，支持2D/3D关键点及运动提示。自监督方法则采用多任务学习，如运动预测、拼图识别和对比学习，以及噪声对比估计学习不变性。这些方法在NTU等数据集上验证，为减少标注依赖提供了可行方案。
跨视图与异常识别的性能表现
在跨视图场景下，无监督骨架方法展现出优于同类无监督方法的性能，甚至与有监督方法表现相似。针对异常行为识别，有研究提出领域无关、鲁棒且零样本的框架，通过用户提示嵌入与骨架特征相似度计分，间接补充正常行为，增强了基于骨架方法的可靠性，能有效识别异常事件。
时空特征解耦与对比学习的进展
近期研究注重时空特征解耦与对比学习的结合。例如STD-CL框架通过解耦空间和时间特征，并应用注意力特征到对比学习，改进了全局特征的语义，在NTU60、NTU120和NW-UCLA基准上提升了准确性。此外，多层次空间时间图网络、残差频率注意块和软边缘焦点损失等方法，也在大规模数据集上取得了先进性能。
一次性学习与部分序列建模的探索
针对数据稀缺场景，一次性骨架动作识别技术通过多尺度空间和时间特征匹配，实现了卓越性能，并在多个大规模数据集上持续超越当前最先进方法。同时，部分时空学习框架利用部分骨骼序列的局部关系，采用时空屏蔽策略构建负样本，在NTU-60、NTU-120和PKU-MMD等基准上达到SOTA，并验证了鲁棒性。
Q&A
无监督骨架动作识别系统如何实现无需标签和深度输入？
该系统基于编码器-解码器递归神经网络，无需提供任何标签或摄像头深度输入，可在2D或3D身体关键点及附加提示描述移动的情况下操作。
自监督骨架动作识别中常用的表征学习方法有哪些？
常用的方法包括多任务自监督学习，具体有运动预测、拼图识别和对比学习等。
基于骨架的异常行为识别如何实现领域无关和零样本学习？
通过基于骨架提取特征，提出具有领域无关性、鲁棒性和零样本学习框架，利用用户提示嵌入与骨架特征的相似度计分，间接补充正常行为，从而有效识别异常事件。
STD-CL框架如何提升骨架动作识别的准确性？
STD-CL通过解耦空间和时间特征，并应用注意力特征到对比学习，改进了全局特征的语义，从而提高了准确性，在NTU60、NTU120和NW-UCLA基准数据集上实现了改进。
多层次空间时间图网络如何建模骨架运动模式？
该方法使用多层次空间时间图网络联合建模粗粒度和细粒度骨架运动模式，并采用双头图网络和跨头部通信策略来提取两个时空分辨率的特征。
一次性骨架动作识别技术如何实现？
通过多尺度空间和时间特征匹配处理骨架动作识别，实现了优秀的一次性骨架动作识别，并在诸多大规模数据集上持续超越当前最先进的方法。
