无约束的开放词汇图像分类：通过 CLIP 反转从文本到图像的零样本迁移
内容提要
本研究提出了多种基于CLIP的新方法，涵盖视频实例分割、零样本分类和OOD检测等任务。其中，CLIP-VIS在视频分割中表现优异，AutoCLIP提高了分类准确性，CLIPN实现了零样本OOD检测，GC-CLIP增强了分类效果，CLIP-Count实现了高精度物体计数。这些方法在多个数据集上取得了显著进展。
延伸解读
CLIP 方法的多任务适应性
文章汇总了多种基于 CLIP 的改进方法，覆盖视频实例分割、零样本分类、OOD 检测和物体计数等任务。这些方法均以冻结的 CLIP 编码器为基础，通过引入轻量模块或调整提示策略来适应下游任务，表明 CLIP 的预训练表示具有广泛的迁移潜力，无需微调主干网络即可实现跨模态任务扩展。
零样本性能的量化提升
多个方法报告了具体的性能增益：AutoCLIP 在零样本分类中准确率提升最多 3 个百分点；CLIP-Decoder 在零样本多标签分类上提升 3.9%，广义零样本多标签分类提升近 2.3%；CLIPN 在 ImageNet-1K 的 OOD 检测中于 AUROC 和 FPR95 指标上优于 7 种常用算法。这些数据为不同方法的有效性提供了可比较的参考。
效率与精度的权衡
MobileCLIP 通过多模态增强训练，利用图像字幕模型和强大 CLIP 编码器的知识转移，在零样本分类和检索任务上实现了新的最佳延迟-准确性权衡。这表明在追求精度的同时，轻量化模型设计也是重要方向，尤其适合对推理延迟敏感的应用场景。
技术路径的多样性
这些方法采用了不同的技术路径：CLIP-VIS 使用编码器-解码器结构和时序 Top-K 增强匹配；AutoCLIP 根据推理时相似性统计动态调整提示权重；CLIPN 引入否定语义提示；GC-CLIP 利用现成检测模型增强关注区域。这种多样性反映了 CLIP 生态的活跃，也为后续研究提供了多种可借鉴的思路。
Q&A
CLIP-VIS 是什么，它的主要功能是什么？
CLIP-VIS 是一种自适应开放词汇视频实例分割的编码器-解码器网络，表现出色。
AutoCLIP 如何提高零样本分类的准确性？
AutoCLIP 通过自动调整类描述符与图像相似性统计，提升了多达 3 百分点的分类准确性。
CLIPN 在零样本 OOD 检测中有什么优势？
CLIPN 通过正面和否定语义提示，优于 7 种常用算法，在零样本 OOD 检测中表现出色。
GC-CLIP 是如何增强零样本分类效果的？
GC-CLIP 通过增加对感兴趣目标的关注，减少无关区域的影响，从而提高分类结果。
CLIP-Count 的主要应用是什么？
CLIP-Count 用于在零样本情况下进行类无关物体计数，取得了最高精度。
MobileCLIP 的创新之处是什么？
MobileCLIP 通过多模态增强训练方法，优化了零样本分类和检索任务的延迟-准确性权衡。
