细粒度的辅助信息引导的零样本骨架动作识别

通过侧面信息和双提示学习，我们提出了一种用于基于骨架的零样本动作识别（STAR）的新方法，以精细级别对骨架和语义空间进行对齐，从而区分高相似动作类别。我们在 NTU RGB+D、NTU RGB+D 120 和 PKU-MMD 数据集上进行了广泛实验，结果表明我们的方法在 ZSL 和 GZSL 设置上取得了最先进的性能。

提出了一种用于提高广义零样本基于骨骼的动作识别性能的多语义融合模型。该模型采集了两种类级文本描述作为辅助语义信息，通过预训练的编码器提取动作类别和骨骼特征，并利用生成模块学习骨骼和语义特征之间的对齐。最后，通过分类模块识别输入样本的动作类别，并采用分类门预测样本是否来自已知动作类别。该模型在广义零样本基于骨骼的动作识别上表现出卓越性能。