ZeroMamba：探索零样本学习的视觉状态空间模型
内容提要
本文探讨了零样本学习在视频动作识别中的应用，提出了视觉-语义映射、数据加权和渐进式语义引导视觉Transformer（ZSLViT）等新模型和方法，显著提升了多个数据集上的识别性能，解决了领域移位和泛化问题。
延伸解读
零样本视频动作识别的核心挑战
文章指出，视频动作识别中的零样本学习需要解决语义信息复杂且难以学习的问题。传统方法依赖语义词向量空间作为视频和类别的共同空间，但存在领域移位和泛化能力不足的缺陷。作者通过自我训练和数据增强策略，提升了视觉-语义映射的有效性，并在HMDB51和UCF101数据集上实现了最新性能，为后续研究提供了重要基线。
从视觉空间到联合空间的演进
文章回顾了零样本学习嵌入空间的演变：早期研究使用视觉空间作为嵌入空间以解决深度模型瓶颈，并联合优化多语义模态；后续工作提出视觉-语义映射模型和数据加权方法缓解领域移位；针对交叉域匹配问题，又提出双分支网络将语义描述和视觉样本映射到联合空间，同时满足类内紧度和类间可分性，在五个标准数据集上取得卓越性能。
广义零样本学习的进展与评估
针对广义零样本学习（GZSL），文章介绍了多种方法：对未见图像和语义向量不可知的方法，通过低维视觉嵌入和视觉神谕量化噪声语义；基于语义属性生成分类器的深度神经网络和自校准学习；以及双重策略和新的评估指标，以更详细地评估结果的可信度和可复现性。这些工作推动了GZSL在语义和视觉监督下的性能提升。
视觉Transformer与动态语义原型的突破
文章重点介绍了ZSLViT和VADS两种新方法。ZSLViT利用渐进式语义引导的视觉Transformer，通过语义嵌入令牌学习改进视觉-语义对应，并在CUB、SUN和AWA2数据集上取得显著提升。VADS则通过视觉增强动态语义原型增强生成器学习准确的语义-视觉映射，在三个知名数据集上，CZSL和GZSL性能平均提升6.4%、5.9%和4.2%，优于其他最先进方法。
Q&A
零样本学习在视频动作识别中的应用是什么？
零样本学习通过语义词向量空间解决复杂的语义信息问题，提高视频动作识别的性能。
如何提高零样本学习的映射有效性？
通过自我训练和数据增强策略，可以显著提高零样本学习的映射有效性。
什么是渐进式语义引导视觉Transformer（ZSLViT）？
ZSLViT是一种用于零样本学习的模型，通过语义嵌入令牌学习改进视觉-语义对应关系。
广义零样本学习（GZSL）方法的特点是什么？
GZSL方法对训练期间的未见图像和未见语义向量具有不可知性，旨在打破视觉-语义间隙。
如何解决零样本学习中的领域移位问题？
通过提出新的视觉-语义映射模型和数据加权方法，可以有效缓解领域移位问题。
VADS方法在零样本学习中有什么优势？
VADS方法在多个数据集上取得了卓越的性能，优于其他最先进的方法。
