CLIPScope：用贝叶斯评分增强零样本 OOD 检测
内容提要
本文研究零样本数据识别，提出了一种基于多模态表示学习的ZOC方法，通过图像文本描述生成和置信度评分实现未知分类检测。实验结果表明，该方法在多个基准数据集上优于现有方案，尤其在少样本学习和OOD检测中表现突出。
延伸解读
零样本OOD检测的挑战与ZOC的定位
零样本OOD检测要求模型在未见类别上区分ID和OOD样本，传统方法依赖大量标注数据。ZOC通过多模态表示学习，利用图像文本描述生成和置信度评分，无需ID训练样本即可检测未知类别。这降低了数据标注成本，但性能可能受文本描述质量影响。
CLIP系列方法的演进与核心思路
文章梳理了基于CLIP的多种OOD检测方法：CLIP-OS引入patch均匀卷积和ID相关信息提取；CLIPN通过正负语义提示增强区分能力；LoCoOp利用局部正则化优化上下文；GL-MCM结合全局和局部视觉文本对齐。这些方法从不同角度提升CLIP在OOD检测中的表现，反映了该领域快速迭代的趋势。
评估指标与性能对比的启示
在ImageNet-1k的少样本OOD检测中，某些方法将平均FPR95降低12.16%、平均AUROC提高2.76%。CLIPN在零样本OOD检测中至少优于7种常用算法。这些数据表明基于CLIP的方法在少样本和零样本场景下具有优势，但实际部署时需考虑计算开销和泛化能力。
实际应用中的注意事项
文章提到MCM得分方法在OOD检测中表现最佳，prompt learning效果显著。然而，这些方法多基于特定基准测试，在真实场景中可能受域偏移、对抗性操纵等因素影响。此外，无源物体检测等扩展应用展示了CLIP的潜力，但需进一步验证其鲁棒性。
Q&A
ZOC方法的主要功能是什么？
ZOC方法通过图像文本描述生成和置信度评分实现未知分类的检测。
CLIPN方法如何增强OOD检测能力？
CLIPN方法通过正面和否定语义提示，增强了CLIP区分OOD和ID样本的能力。
在少样本学习中，ZOC方法的表现如何？
ZOC方法在少样本学习和OOD检测中表现突出，优于现有方案。
LoCoOp方法的主要创新点是什么？
LoCoOp方法针对few-shot OOD检测进行了本地正则化的上下文优化，展示了其在ImageNet OOD检测中的优越性。
GL-MCM方法在OOD检测中有什么优势？
GL-MCM方法通过全局和局部视觉文本对齐，提升了ID和OOD图像的识别能力。
MCM得分方法在超出分布检测中表现如何？
研究表明，MCM得分方法在超出分布检测性能上表现最佳。
