MarvelOVD：融合物体识别与视觉语言模型的鲁棒开放词汇物体检测
内容提要
本文探讨了增量物体检测中的持续学习挑战，提出了VLM-PL方法，通过视觉-语言模型验证伪标签的正确性，结合新旧知识以提升检测性能。同时，NegLabel方法利用负标签进行OOD检测，展现出良好的鲁棒性和泛化能力。此外，研究介绍了多模态语言模型与视觉语言模型的结合，提升了开放词汇目标检测的效果。
延伸解读
VLM-PL 如何缓解增量检测中的遗忘
VLM-PL 的核心在于利用视觉-语言模型验证伪标签的正确性，无需额外训练即可生成更可靠的伪标签。通过将精细化伪标签与真实标签整合，模型在增量学习过程中能同时保留新旧知识，从而减轻灾难性遗忘。在 Pascal VOC 和 MS COCO 上的实验表明，该方法在多场景和双场景增量设置下均有效，双场景任务上达到最先进水平。
NegLabel 的负标签机制与鲁棒性
NegLabel 是一种事后 OOD 检测方法，它从广泛语料库中引入大量负标签，并设计相应的 OOD 得分方案。理论分析揭示了负标签的工作机制，实验证明该方法在多个 OOD 检测基准上达到最先进性能，且能泛化到多种视觉-语言模型。此外，NegLabel 对领域变化表现出显著鲁棒性，这使其在实际部署中更具适应性。
多模态语言模型与视觉语言模型的结合
研究将多模态大型语言模型（MM-LLM）集成到视觉语言模型（VLM）中，以解决 VLM 预测与目标概念不一致的问题。MM-LLM 为每个类别生成参考表达式，再根据 VLM 预测和注释选取最佳匹配，并生成伪标签微调 VLM。该方法在少样本物体检测任务中达到 32.56 mAP，展示了结合多模态语言模型提升开放词汇检测性能的潜力。
Q&A
VLM-PL方法的主要功能是什么？
VLM-PL方法通过视觉-语言模型验证伪标签的正确性，并结合新旧知识提升检测性能。
NegLabel方法如何提高OOD检测的效果？
NegLabel方法利用负标签进行OOD检测，展现出良好的鲁棒性和泛化能力。
增量物体检测中持续学习面临哪些挑战？
增量物体检测中的持续学习挑战主要是如何避免模型遗忘过去知识。
多模态语言模型与视觉语言模型的结合有什么优势？
结合多模态语言模型与视觉语言模型可以提升开放词汇目标检测的效果。
VLM-PL方法在数据集上的表现如何？
VLM-PL在Pascal VOC和MS COCO数据集上进行了广泛实验，表现出色，尤其在双场景问题上取得了最先进的结果。
如何利用视觉语言模型进行物体检测？
通过将图像和文本特征结合，设计提示模板生成自定义查询，利用视觉语言模型进行物体检测。
