LLMs 遇见 VLMs:用细粒度描述符提升开放词汇物体检测

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

DetPro是一种新的开放词汇物体检测方法,通过学习基于预训练的视觉-语言模型的连续提示表示来实现。DetPro与ViLD对象检测器组合使用,在多个数据集上的实验结果显示DetPro优于基线ViLD。

🎯

关键要点

  • DetPro是一种新的开放词汇物体检测方法。
  • DetPro通过学习基于预训练的视觉-语言模型的连续提示表示来实现。
  • DetPro与以前的分类为导向的方法不同,具有两个亮点:背景解释方案和上下文分级方案。
  • 背景解释方案包括图像背景中的提议进入提示训练。
  • 上下文分级方案用于分离定制提示训练中的图像前景中的建议。
  • DetPro与开放世界对象检测器ViLD组合使用,实验结果显示DetPro在多个数据集上优于基线ViLD。
  • 在LVIS的新颖类上,DetPro提高了3.4 APbox和3.0 APmask。
➡️

继续阅读