OmniCLIP：利用空间-时间全尺度特征学习适应CLIP进行视频识别
内容提要
本文介绍了多种基于CLIP模型的视频理解和识别方法，如Tip-Adapter、EVL框架和STAN机制。这些方法通过优化模型结构和训练策略，在多个视频数据集上取得了优异的性能，尤其在零样本学习和计算效率方面表现突出。
延伸解读
从图像到视频：CLIP适配的技术演进
文章梳理了2022年至2024年间基于CLIP的视频识别方法，呈现出从零训练适配到轻量微调，再到统一架构的技术路径。Tip-Adapter以零训练方式增强CLIP的少样本能力，EVL和STAN则引入时序建模，后续方法如Open-VCLIP++和EZ-CLIP进一步优化时空关系捕捉与训练效率。这一演进反映了视频理解领域对计算效率和泛化能力的持续追求。
零样本与少样本学习成为核心焦点
多项工作强调零样本和少样本场景下的性能，如Tip-Adapter在11个数据集上表现突出，Open-VCLIP++在UCF、HMDB和Kinetics-600上分别达到88.1%、58.7%和81.2%的零样本准确率，显著超越先前方法。这表明研究社区正致力于降低对大规模标注视频数据的依赖，推动模型在数据稀缺场景下的实用化。
计算效率与动态计算策略受关注
为应对视频数据的高计算成本，文章提及了多种效率优化方案。例如，EVL使用轻量级Transformer解码器动态收集帧级特征，Video-FocalNet以更低成本同时建模本地和全局上下文，而AdaFocusV3框架通过动态配置视频块数量来降低计算开销。这些方法在保持性能的同时，显著提升了计算效率，为实际部署提供了可能。
统一架构与多任务学习成为趋势
近期研究如GOPro和EZ-CLIP尝试统一多任务学习框架，通过共享编码器-解码器架构或引入时序视觉提示，在多个视频基准上取得领先结果。这种统一化趋势有助于减少任务特定设计，提升模型的通用性和可扩展性，为更广泛的视频理解任务提供了新思路。
Q&A
Tip-Adapter的主要功能是什么？
Tip-Adapter是一种零训练方法，增强了CLIP的适应能力，在多个数据集上表现突出。
EVL框架是如何提高视频识别性能的？
EVL框架使用轻量级Transformer解码器动态收集帧级空间特征，从而学习高质量的视频表示。
STAN机制在视频识别中有什么优势？
STAN机制将图像-文本预训练模型扩展到视频领域，在视频文本检索和视频识别任务中表现优越。
Video-FocalNet的特点是什么？
Video-FocalNet是一种高效的视频识别架构，能够同时建模本地和全局上下文，且计算成本更低。
Open-VCLIP++如何提升领域泛化性能？
Open-VCLIP++通过最小化修改CLIP来捕捉视频中的时空关系，从而提升领域泛化任务的性能。
EZ-CLIP在视频领域的创新点是什么？
EZ-CLIP通过引入时序视觉提示和新的学习目标，实现了视频领域的零样本学习和高效训练。
