LLMs 遇见 VLMs:用细粒度描述符提升开放词汇物体检测
原文中文,约400字,阅读约需1分钟。
📝
内容提要
DetPro是一种新的开放词汇物体检测方法,通过学习基于预训练的视觉-语言模型的连续提示表示来实现。DetPro与ViLD对象检测器组合使用,在多个数据集上的实验结果显示DetPro优于基线ViLD。
🎯
关键要点
-
DetPro是一种新的开放词汇物体检测方法。
-
DetPro通过学习基于预训练的视觉-语言模型的连续提示表示来实现。
-
DetPro与以前的分类为导向的方法不同,具有两个亮点:背景解释方案和上下文分级方案。
-
背景解释方案包括图像背景中的提议进入提示训练。
-
上下文分级方案用于分离定制提示训练中的图像前景中的建议。
-
DetPro与开放世界对象检测器ViLD组合使用,实验结果显示DetPro在多个数据集上优于基线ViLD。
-
在LVIS的新颖类上,DetPro提高了3.4 APbox和3.0 APmask。
🏷️