M2-CLIP: 视频动作识别的多模态多任务自适应框架
内容提要
本文综述了CLIP在视频动作识别与检索领域的适配方法：MA-CLIP用轻量适配器实现少样本动作识别；ActionCLIP提出“预训练、提示、微调”范式实现零样本识别；EZ-CLIP引入时序视觉提示；CLIP-Adapter以残差混合方式微调；CLIP2Video迁移图像语言模型用于视频文本检索；另有方法提升视频语义表示与多模态对话检索效率。
延伸解读
从图像到视频：CLIP适配的两条技术路线
文章梳理的多种方法可归为两类：一类以MA-CLIP、EZ-CLIP为代表，通过轻量适配器或时序视觉提示，在尽量少改原模型的前提下注入视频时序信息；另一类以ActionCLIP、CLIP-Adapter为代表，侧重调整训练范式或微调结构。前者强调参数效率与少样本能力，后者更关注零样本迁移和分类性能。读者可据此判断不同方法在计算成本与精度之间的取舍。
少样本与零样本：性能提升的边界条件
MA-CLIP在少样本和零样本学习中表现出优势，且额外参数和计算成本较低；ActionCLIP则在Kinetics-400上达到83.8%准确度，并具备零样本/少样本迁移能力。这些结果说明适配方法能缓解数据不足问题，但文章未给出跨数据集的统一对比，实际效果仍取决于具体任务、数据分布和适配策略，不宜直接外推为通用结论。
检索与对话场景的专用化适配
除动作识别外，文章还涉及视频文本检索和多模态对话检索。CLIP2Video通过时序差分块和时序对齐块迁移图像语言模型，在MSR-VTT、MSVD、VATEX等基准上刷新检索准确率；DialCLIP仅调整总参数的0.04%即在两个对话检索基准上取得最新性能。这表明参数高效微调在检索类任务中同样有效，但各方法评测基准不同，横向比较需谨慎。
Q&A
MA-CLIP 是如何实现少样本动作识别的？
MA-CLIP 通过添加轻量级适配器来适应 CLIP，并利用动态提示学习器生成与人类动作相关的运动感知提示，再通过多模态交流模块实现协作学习，从而在少参数和额外计算成本下实现少样本动作识别。
ActionCLIP 在零样本动作识别上有什么创新？
ActionCLIP 提出了一种新的“预训练、提示和微调”范例，通过对标签文本的语义信息进行建模，实现零样本动作识别，并在 Kinetics-400 数据集上达到 83.8% 的准确度。
EZ-CLIP 如何改进 CLIP 用于视频动作识别？
EZ-CLIP 通过引入时序视觉提示和新的学习目标，实现了在视频领域的零样本学习和基于视频动作识别的高效训练。
CLIP-Adapter 的微调方式是什么？
CLIP-Adapter 通过在原训练模型上加入新特征层并进行残差式混合来实现微调，在各种视觉分类任务中表现优异，优于 context optimization。
CLIP2Video 如何提升视频文本检索性能？
CLIP2Video 将图像语言预训练模型转移到视频文本检索，采用端到端方式，通过 Temporal Difference Block 和 Temporal Alignment Block 提升多模态相关性，在 MSR-VTT、MSVD 和 VATEX 等基准上实现了最新的检索准确性记录。
DialCLIP 在多模态对话检索中有什么特点？
DialCLIP 是一种参数高效的提示调整方法，仅调整总参数的 0.04% 就在两个广泛认可的基准数据集上实现了最新性能，突出了其功效和效率。
