文本增强的零样本动作识别：一种无训练的方法
内容提要
本文探讨了零样本学习在视频动作识别中的应用，提出了多种提高模型泛化性能的方法，如使用语义词向量、自我训练和数据增强等策略。研究表明，这些方法在多个数据集上显著提升了零样本动作识别的准确性，展示了其在视频理解领域的潜力。
延伸解读
零样本动作识别的研究脉络
文章按时间顺序梳理了2015年至2024年零样本动作识别的发展。早期工作（2015-2016）聚焦于语义词向量空间和视觉-语义映射，以缓解领域移位问题；2019年的综述总结了特征提取与数据集协议；2021年后，研究转向Transformer、CLIP等大规模预训练模型，并提出了更严格的True Zero-Shot评估设置。这一脉络显示，该领域从传统映射方法逐步演进到基于跨模态大模型的端到端方案。
评估基准与性能进展
文章多次提及HMDB51、UCF101和ActivityNet等数据集，并指出True Zero-Shot数据集要求训练、测试和预训练类别无重叠，更真实地评估泛化能力。在此严格设定下，未见类别性能普遍较低。而Open-VCLIP++在UCF、HMDB和Kinetics-600上分别达到88.1%、58.7%和81.2%的零样本准确率，较此前最佳方法提升8.5%、8.2%和12.3%，表明大模型方法能显著缩小与监督学习的差距。
方法趋势：从映射到跨模态大模型
文章显示，零样本动作识别的方法重心已从早期的语义词向量映射、数据加权，转向利用CLIP、Transformer等预训练模型进行跨模态联合编码。例如，Open-VCLIP++通过最小化修改CLIP并利用权重插值实现持续学习；ZEETAD通过微调冻结的CLIP编码器增强对未见类别的辨别；自适应框架则结合冻结的视觉语言模型与大型语言模型进行视频概念推理。这些方法共同指向一个趋势：借助大规模预训练知识提升零样本泛化。
局限与未来方向
文章指出，在True Zero-Shot设定下未见类别性能普遍较低，且少样本行为识别可能存在类似问题。此外，多数早期策略具有转导性质，即训练阶段可访问测试数据，这在实际应用中可能受限。未来工作需进一步解决领域移位、严格零样本设定下的泛化瓶颈，并探索如何更高效地利用大模型而不依赖额外训练或微调。
Q&A
零样本学习在视频动作识别中有什么应用？
零样本学习通过使用语义词向量空间来解决复杂的语义信息问题，从而提高视频动作识别的准确性。
有哪些方法可以提高零样本动作识别的准确性？
可以通过自我训练、数据增强、视觉-语义映射模型和数据加权等策略来提高零样本动作识别的准确性。
True Zero-Shot(TruZe)数据集的目的是什么？
TruZe数据集用于评估零样本行为识别任务，确保训练集、测试集和预训练类别之间没有重叠。
Open-VCLIP++框架的创新之处是什么？
Open-VCLIP++框架通过最小化修改CLIP，创建了专门的视频分类器，并在多个数据集上超越了现有技术。
ZEETAD方法如何增强对未见动作类别的辨别能力？
ZEETAD方法通过更新冻结的CLIP编码器，增强了对未见动作类别的辨别能力。
自适应框架在视频概念推理任务中表现如何？
自适应框架在视频概念推理任务中表现出更高的性能，尤其是在开放式和闭合式情景下。
