基于检索增强的开放词汇物体检测
内容提要
本文研究了目标检测模型的改进，提出了Query-Adaptive R-CNN、开放词汇检测（OVD）和视觉-语言知识蒸馏（ViLD）等新方法，以提升未知对象的检测和分类性能。实验结果表明，这些方法在多个数据集上显著提高了性能，尤其在长尾分类和零泛化能力方面表现突出。
延伸解读
开放词汇检测的演进与关键突破
文章梳理了开放词汇检测（OVD）从早期Query-Adaptive R-CNN到近期DRR、ViLD等方法的演进。这些方法的核心是让模型摆脱预定义类别的限制，利用文本查询或视觉-语言知识来定位和识别未知对象。其中DRR在OVD-COCO基准上取得了2.8 AP50的绝对增益，ViLD在LVIS等数据集上超越了当时最先进水平，显示出该领域在检测未知类别方面的持续进步。
长尾分类与外部记忆的有效利用
针对长尾分类问题，文章介绍了RAC方法，通过显式引入检索模块和非参数化外部内存，显著提升了Places365-LT和iNaturalist-2018数据集的性能，尤其是在尾部类别上。这为计算机视觉架构中更有效地利用外部存储器提供了替代方案，表明检索增强机制不仅能提升检测性能，也能缓解类别不平衡带来的挑战。
增量学习中的泛化能力保护
在增量视觉-语言物体检测（IVLOD）任务中，模型需要逐步适应新领域同时保持零泛化能力。文章提出的ZiRa方法通过零干扰损失和参数重参数化技术，在不增加推理成本或显著增加内存的情况下，有效保护了预训练模型的零泛化能力。在ODinW-13数据集上，ZiRa的零泛化性能分别比CL-DETR和iDETR提高了13.91和8.71 AP，显示出该方法在平衡新旧任务上的优势。
检索增强在多模态任务中的扩展
文章还展示了检索增强思想在更广泛任务中的应用，如RAR结合CLIP和多模态大语言模型提升细粒度识别，REAVL利用知识图谱增强视觉语言预训练，以及RALF通过检索相似布局示例改进图形布局生成。这些工作表明，检索增强不仅适用于物体检测，还能扩展到多模态理解、布局生成等领域，为利用外部知识提升模型性能提供了通用思路。
Q&A
Query-Adaptive R-CNN方法的主要特点是什么？
Query-Adaptive R-CNN方法通过负向短语扩充技术训练分类器，能够在0.5秒内从100万张图像中准确完成目标检索和定位。
开放词汇检测（OVD）如何提高未知对象的检测能力？
开放词汇检测（OVD）是一种新的目标检测范式，能够定位和识别由不受限词汇定义的未知对象，DRR方法在OVD-COCO基准测试中表现最佳。
ViLD方法是如何工作的？
ViLD方法通过视觉和语言知识蒸馏，使用预先训练的图像分类模型直接检测和分类未知类别的物体，表现优于现有最先进水平。
Retrieval Augmented Classification (RAC)方法的优势是什么？
RAC方法显著提高了长尾分类问题的性能，特别是在尾部类别上，通过引入检索模块有效利用外部存储器。
NegLabel方法在OOD检测中有什么创新？
NegLabel是一种新型事后OOD检测方法，利用负标签和OOD得分方案，在各种OOD检测基准数据集上实现了最先进的性能。
REAVL模型的主要功能是什么？
REAVL模型能够检索多模态数据中的世界知识，提高视觉语言理解和多模态实体链接任务的性能。
