CLIP 引导的无源目标检测在航空图像中
内容提要
该文综述了基于CLIP等视觉-语言模型的多项研究，涵盖无源跨域目标检测（伪标签与对抗学习、ReCLIP领域自适应、改进伪标签利用）、航拍小目标少样本检测与超大图像实时检测、结合生成模型与CLIP的卫星图像目标检测、CLIP-DIY开放词汇语义分割、基于CLIP特征的AI生成图像检测、S-CLIP半监督训练及AnomalyCLIP零样本异常检测。
延伸解读
无源跨域检测的演进脉络
文章梳理了无源跨域目标检测从依赖伪标签与对抗学习，到ReCLIP引入视觉-语言模型进行领域自适应，再到通过高低置信度阈值和对比学习充分利用伪标签的演进。这一脉络显示，研究重点正从单纯提升伪标签质量，转向更精细地挖掘低置信度样本的价值，以逼近甚至超越有源方法。
航拍小目标检测的特殊挑战
文章指出自然图像与航拍图像在少样本检测上存在显著性能差距，主因是航拍图像中小目标数量多。为此，研究者设计了专用注意力机制和自适应尺度框相似性准则，并探索了度量学习与微调两种路径。这表明通用少样本方法不能直接套用于航拍场景，需针对小目标特性做专门优化。
CLIP在检测与分割中的多场景应用
从卫星图像目标检测到开放词汇语义分割，再到AI生成图像检测，文章展示了CLIP的多种用法：利用其图文关联能力构建即时检测器，借助无监督定位指导分割，以及仅用少量样本训练轻量检测器。这些案例说明CLIP可作为通用视觉-语言基座，但具体任务仍需结合生成模型、定位方法或轻量策略进行适配。
半监督与零样本异常检测的补充
S-CLIP通过双伪标签策略利用非配对图像增强CLIP训练，在遥感、时尚等多个领域表现突出；AnomalyCLIP则通过学习无关物体的文本提示实现零样本异常检测。两者分别从训练数据扩展和提示设计角度，拓展了CLIP在数据稀缺或类别开放场景下的适用边界，但文章未给出与监督方法的直接对比。
Q&A
无源目标检测中如何提高伪标签的质量？
一种方法是将目标域划分为相似子集和不相似子集，并在平均教师框架中引入对抗模块来提高伪标签质量；另一种方法是通过引入高、低置信度阈值，使用Proposal Soft Training (PST)和Local Spatial Contrastive Learning (LSCL)模块来充分利用低置信度伪标签，优化代表性特征。
ReCLIP在视觉-语言模型领域自适应中有什么作用？
ReCLIP是第一个无需源数据或目标标记数据的视觉-语言模型领域自适应方法，它使用伪标签进行交叉模态自训练，以减小领域间差异和错位对模型性能的影响，在22个图像分类基准测试中将CLIP的平均错误率从30.17%降低到25.06%。
航拍图像中的少样本目标检测面临什么挑战，如何解决？
航拍图像中小物体数量较多，导致自然图像和航拍图像之间存在较大性能差距。解决方法包括：设计注意力机制来改善少样本目标检测方法在小物体上的性能，提出自适应尺度框相似性准则用于小物体的训练和评估，以及通过度量学习和微调两种方法提升性能，其中微调方法在跨域少样本目标检测等复杂场景中表现显著。
如何利用CLIP进行开放词汇语义分割？
CLIP-DIY方法利用现有的无监督目标定位方法，直接在不同尺度的补丁上使用CLIP的分类能力，并通过无监督目标定位方法指导分割过程，从而在PASCAL VOC上获得了最新的零样本语义分割结果，在COCO上表现与最佳方法相当。
基于CLIP的AI生成图像检测需要大量训练数据吗？
不需要。研究发现，仅利用来自单个生成模型的少量示例图像，基于CLIP的检测器就展现出出乎意料的泛化能力，并在包括Dalle-3、Midjourney v5和Firefly在内的最新商业工具中具有高鲁棒性。在分布内数据上与SoTA匹配，在分布外数据上AUC提高6%，在受损/清洗数据上鲁棒性提升13%。
S-CLIP半监督学习方法是如何增强CLIP训练的？
S-CLIP利用额外的非配对图像数据为基于对比学习的CLIP训练，采用两个伪标签策略，分别针对对比学习和语言模态，能够显著增强CLIP的训练，在遥感、时尚、科学图像和漫画等多个领域中取得了令人瞩目的表现。
AnomalyCLIP如何实现零样本异常检测？
AnomalyCLIP通过学习无关物体的文本提示来捕捉图像中的通常和异常，从而实现了对高度多样的物体数据集进行广义正常性和异常性识别的零样本卓越性能。
