LLMs 遇见 VLMs：用细粒度描述符提升开放词汇物体检测
内容提要
开放词汇目标检测旨在检测任意类别物体。早期方法利用预训练视觉语言模型的零样本分类能力，如ViLD通过知识蒸馏实现未知类别检测，DetPro学习连续提示表示提升性能，F-VLM简化训练流程。后续研究探索多模态融合、动态词汇评估细粒度属性，以及基于DETR的OV-DETR等方法，在LVIS等基准上取得显著提升。
延伸解读
技术演进：从蒸馏到直接对齐
文章梳理了开放词汇目标检测的技术路线演变。早期方法如ViLD依赖知识蒸馏，将预训练视觉语言模型的零样本分类能力迁移到检测器；DetPro则通过学习连续提示表示来提升性能。后续研究转向更直接的方案，例如F-VLM通过冻结视觉语言模型简化训练流程，而新提出的框架将对象-语言对齐形式化为集合匹配问题，直接在图像-文本对上训练，避免了多阶段管道的复杂性。
多模态融合与细粒度理解
文章指出，近期研究探索了多模态融合以提升开放词汇检测的细粒度属性理解。例如，有工作利用大型语言模型生成语言描述，并结合图像样例，通过多模态分类器融合文本和视觉信息，实验表明多模态分类器优于单一模态。此外，动态词汇评估方案被用于检验现有方法对物体细粒度属性及部分的捕捉能力，发现大多数方法难以准确区分细节，这指明了未来改进方向。
性能表现与基准测试
在LVIS等开放词汇检测基准上，不同方法取得了显著进展。新提出的框架在LVIS新类别上实现了32.0%的mAP和21.7%的掩膜mAP。F-VLM在LVIS基准上实现了+6.5 mask AP的改进，并在COCO跨数据集转移检测中表现竞争力。DetPro与ViLD结合后，在LVIS新颖类上提升了3.4 APbox和3.0 APmask。OV-DETR基于DETR模型，在LVIS和COCO上证明了性能提升。这些结果表明开放词汇检测在多样基准上持续进步。
Q&A
开放词汇目标检测是什么？
开放词汇目标检测是一种新的目标检测范式，旨在定位和识别由不受限词汇定义的未知对象。它利用预训练视觉语言模型的零样本分类能力，直接对所有可能的新类别的建议进行分类，而不需要额外的注释或数据集。
ViLD 方法是如何实现开放词汇目标检测的？
ViLD 通过视觉和语言知识蒸馏的训练方法，使得我们可以使用预先训练的图像分类模型直接检测和分类未知类别的物体。它在 LVIS 和其他数据集上的表现超过了现有的最先进水平。
DetPro 方法有哪些创新点？
DetPro 是一种学习基于预训练视觉-语言模型的连续提示表示的新方法，用于开放词汇物体检测。它的两个亮点是：1）背景解释方案，包括图像背景中的提议进入提示训练；2）上下文分级方案，用于分离定制提示训练中的图像前景中的建议。
F-VLM 方法相比之前的方法有什么改进？
F-VLM 是一种基于 Frozen Vision and Language Models 的简单开放式识别目标检测方法，通过消除知识蒸馏和定制化预训练，简化了现有的多阶段训练管道。实验结果表明，F-VLM 实现了优异的可扩展性，对于 LVIS open-vocabulary detection benchmark 实现了 +6.5 mask AP 的改进，并在 COCO 开放式识别目标检测基准测试和跨数据集转移检测方面也取得了很有竞争力的结果。
OV-DETR 模型有什么特点？
OV-DETR 是一种基于 DETR 模型和 Transformer 模型的开放词汇检测器，能够通过自然语言或示例图像输入，检测任何物体。通过在 LVIS 和 COCO 数据集上进行广泛实验，该模型证明了显著的性能提升。
现有开放词汇目标检测方法在细粒度属性理解上表现如何？
通过引入动态词汇生成的评估方案来探索现有开放词汇物体检测方法对物体的细粒度属性及其部分了解的程度，发现大多数现有方法难以准确捕捉和区分物体的细节，并总结了当前方法的局限性和有望克服这些缺点的研究方向。
