细粒度的辅助信息引导的零样本骨架动作识别
内容提要
本文探讨了多种基于骨架的动作识别方法，包括无监督异常行为识别、零样本学习和多语义融合模型。通过提取骨架特征和辅助语义信息，提升了动作识别的准确性和鲁棒性，尤其在大规模数据集上表现优异。
延伸解读
零样本骨架动作识别的核心挑战与思路
零样本骨架动作识别要求模型在未见类别上也能识别动作，其核心挑战在于如何建立视觉骨架特征与语义类别之间的映射。本文汇总的多项工作从不同角度应对这一挑战：有的利用用户提示嵌入与骨架特征的相似度计分来补充正常行为，有的通过最大化视觉与语义空间的互信息进行分布对齐，还有的引入文本或图像等替代语义表示。这些方法共同表明，辅助语义信息的质量与对齐方式对零样本识别性能至关重要。
辅助语义信息的多源融合与表示比较
文章提到多语义融合模型同时使用动作描述和运动描述作为类级文本辅助信息，并通过变分自编码器学习骨骼与语义特征的跨模态对齐。此外，有研究比较了文本描述和从静止图像提取的深度特征两种替代语义表示，发现基于文本和图像的表示显著优于传统属性和向量模型，尤其是图像语义表示在每类仅少量图像时仍表现良好。这提示读者，语义信息的来源和丰富度会直接影响零样本识别的泛化能力。
时空建模与特征细化对识别精度的提升
在骨架动作识别中，时空信息的建模方式影响显著。文章介绍了多层次空间时间图网络，通过双头图网络和跨头部通信联合建模粗粒度和细粒度运动模式；还有框架通过解耦空间和时间特征并应用注意力对比学习来改进全局特征语义。此外，辅助特征细化头通过空间-时间分解和对比特征细化识别歧义样本，强化多层监督。这些技术从不同层面提升了特征判别力，在多个大规模数据集上取得了先进结果。
自监督与一次性学习的性能表现
文章还涉及自监督学习和一次性骨架动作识别。多任务自监督方法结合运动预测、拼图识别和对比学习，在不同配置的动作分类器上表现优异。一次性识别方面，有方法通过多尺度空间和时间特征匹配持续超越当前最先进方法；另有基于深度度量学习的方法在NTU RGB+D 120数据集上实现了一次性动作识别协议3.3%的提升，附加数据增强后提升超过7.7%。这些结果说明，在标注数据有限时，自监督和度量学习是有效的技术路径。
Q&A
什么是零样本骨架动作识别？
零样本骨架动作识别是一种无需训练样本的动作识别方法，通过提取骨架特征和辅助语义信息来识别动作。
多语义融合模型如何提升动作识别的准确性？
多语义融合模型通过采集动作描述和运动描述作为辅助信息，增强了通用骨骼特征的学习能力，从而提升了动作识别的准确性。
如何通过时间信息增加观察到的帧数？
通过最大化视觉和语义空间之间的相互信息，并利用时间信息进行估计，可以增加观察到的帧数。
新提出的骨架动作分类方法有哪些特点？
新方法使用多层次空间时间图网络，联合建模粗粒度和细粒度骨架运动模式，提取不同时空分辨率的特征。
辅助特征细化头的作用是什么？
辅助特征细化头通过空间-时间分解和对比特征细化来识别骨架的歧义样本，从而强化多层监督。
基于自监督学习的多任务方法在动作识别中表现如何？
基于自监督学习的多任务方法在骨骼动作识别中表现出优异的性能，能够有效提升动作分类的准确性。
