本文探讨了多粒度语义交互机制在零样本动作识别中的应用,提出了多层次对齐方法和多语义融合模型,以提高动作识别的准确性。通过结合骨骼特征和文本描述,利用无监督学习和自监督学习方法,增强了模型的鲁棒性和性能,并验证了其在多个数据集上的有效性。
本文提出了一种新方法用于基于骨架的零样本动作识别(STAR),通过对骨架和语义空间的对齐,提升了高相似动作类别的区分能力。实验结果表明,该方法在多个数据集上表现优异,特别是在广义零样本动作识别(GZSSAR)中,利用多语义融合模型显著提高了性能。
该文综述零样本动作识别研究进展,涵盖多项模型与方法:ER增强ZSAR模型利用详细描述与概念扩展类别;跨模态Transformer构建共享视觉语义空间;引入Stories文本描述数据集;采用语义词向量与自训练提升映射;提出多语义融合MSF模型用于骨骼动作识别;验证文本与图像语义表示优于传统属性;ActionCLIP实现预训练提示微调;端到端Transformer捕捉时空依赖;并总结相关数据集与未来方向。
完成下面两步后,将自动完成登录并继续当前操作。