CLIPScope:用贝叶斯评分增强零样本 OOD 检测
💡
原文中文,约1600字,阅读约需4分钟。
📝
内容提要
本文研究零样本数据识别,提出了一种基于多模态表示学习的ZOC方法,通过图像文本描述生成和置信度评分实现未知分类检测。实验结果表明,该方法在多个基准数据集上优于现有方案,尤其在少样本学习和OOD检测中表现突出。
🎯
关键要点
- 本文提出了一种基于多模态表示学习的ZOC方法,用于零样本数据识别。
- ZOC方法通过图像文本描述生成和置信度评分实现未知分类检测。
- 在5个基准数据集上,ZOC方法的性能优于现有方案,尤其在少样本学习和OOD检测中表现突出。
- 使用CLIP-OS方法,提出了一种新颖的patch均匀卷积和适应性ID相关信息提取方法,提升了OOD检测的效果。
- CLIPN方法通过正面和否定语义提示,增强了CLIP区分OOD和ID样本的能力。
- LoCoOp方法针对few-shot OOD检测进行了本地正则化的上下文优化,展示了其在ImageNet OOD检测中的优越性。
- GL-MCM方法通过CLIP功能的全局和局部视觉文本对齐,提升了ID和OOD图像的识别能力。
- 研究表明,MCM得分方法在超出分布检测性能上表现最佳,prompt learning也有显著效果。
- 提出的无源物体检测方法利用对比式语言-图像预训练进行自我训练,取得了优于其他算法的结果。
❓
延伸问答
ZOC方法的主要功能是什么?
ZOC方法通过图像文本描述生成和置信度评分实现未知分类的检测。
CLIPN方法如何增强OOD检测能力?
CLIPN方法通过正面和否定语义提示,增强了CLIP区分OOD和ID样本的能力。
在少样本学习中,ZOC方法的表现如何?
ZOC方法在少样本学习和OOD检测中表现突出,优于现有方案。
LoCoOp方法的主要创新点是什么?
LoCoOp方法针对few-shot OOD检测进行了本地正则化的上下文优化,展示了其在ImageNet OOD检测中的优越性。
GL-MCM方法在OOD检测中有什么优势?
GL-MCM方法通过全局和局部视觉文本对齐,提升了ID和OOD图像的识别能力。
MCM得分方法在超出分布检测中表现如何?
研究表明,MCM得分方法在超出分布检测性能上表现最佳。
➡️