基于微调 CLIP 的开放词汇 X 射线禁物检测
内容提要
本文探讨了开放词汇物体检测（OVD）技术，提出了多种方法以提高新物体检测性能，包括使用CLIP模型和伪标注技术。研究表明，这些方法在COCO和LVIS数据集上取得了显著的性能提升，尤其在处理遮挡和新颖类别时表现优异。
延伸解读
开放词汇检测的挑战与进展
开放词汇物体检测（OVD）旨在识别不受限词汇定义的未知对象，是计算机视觉领域的新范式。本文综述了多种OVD方法，包括基于CLIP的框架和伪标注技术，这些方法在COCO和LVIS等基准上显著提升了新颖类别的检测性能，尤其在处理遮挡和罕见类别时表现突出。
CLIP模型在OVD中的关键作用
CLIP模型的零样本能力和图像-文本对齐特性被广泛用于OVD。通过生成高质量候选区域和伪标签，或利用区域提示和锚点预匹配，CLIP能有效适应检测任务。实验表明，基于CLIP的方法在COCO新颖类别上达到36.6 AP50，在LVIS罕见类别上掩膜AP提升5.0，展现了强大的泛化能力。
方法性能与基准对比
不同OVD方法在基准测试中各有优势。DRR方法在OVD-COCO上获得2.8 AP50绝对增益；基于CLIP和图像级监督的方法在COCO新颖类别上AP50达36.6，LVIS罕见类别掩膜AP超越ViLD 5.0；另一方法在COCO上AP_novel达40.5。这些结果显示了OVD领域的快速进步。
实际应用与未来方向
OVD技术可应用于X射线安检等真实场景，解决遮挡和隐藏物品检测难题。未来研究需关注伪标签质量、计算效率以及跨域泛化能力。此外，建立新的视觉异常检测基准和探索更高效的CLIP适应策略将是重要方向。
Q&A
开放词汇物体检测（OVD）是什么？
开放词汇物体检测（OVD）是一种新的目标检测范式，旨在定位和识别由不受限词汇定义的未知对象。
本文提出了哪些方法来提高新物体的检测性能？
本文提出了三种OVD方法，包括基于CLIP模型的框架和伪标注技术，以提高新物体的检测性能。
DRR方法在OVD-COCO基准测试中的表现如何？
DRR方法在OVD-COCO基准测试中取得了最佳表现，AP$_{50}$绝对增益为2.8。
基于CLIP的开放词汇物体检测框架有什么优势？
基于CLIP的框架通过生成高质量的候选区域和伪标签，显著提高了新物体的检测性能，尤其在新颖类别上表现优异。
在LVIS数据集上，本文的方法表现如何？
在LVIS数据集上，本文的方法在罕见类别上超越了最新的ViLD模型，掩膜AP提高了5.0，总体提高3.4。
如何利用CLIP模型的零样本能力改善OVD模型的泛化能力？
通过结合伪区域标注的外部数据源，利用CLIP模型的零样本能力，可以在CLIP嵌入空间中生成接近新颖类的代理新颖类，从而改善OVD模型的泛化能力。
