LLMs 遇见 VLMs:用细粒度描述符提升开放词汇物体检测
💡
原文中文,约400字,阅读约需1分钟。
📝
内容提要
DetPro是一种新的开放词汇物体检测方法,通过学习基于预训练的视觉-语言模型的连续提示表示来实现。DetPro与ViLD对象检测器组合使用,在多个数据集上的实验结果显示DetPro优于基线ViLD。
🎯
关键要点
- DetPro是一种新的开放词汇物体检测方法。
- DetPro通过学习基于预训练的视觉-语言模型的连续提示表示来实现。
- DetPro与以前的分类为导向的方法不同,具有两个亮点:背景解释方案和上下文分级方案。
- 背景解释方案包括图像背景中的提议进入提示训练。
- 上下文分级方案用于分离定制提示训练中的图像前景中的建议。
- DetPro与开放世界对象检测器ViLD组合使用,实验结果显示DetPro在多个数据集上优于基线ViLD。
- 在LVIS的新颖类上,DetPro提高了3.4 APbox和3.0 APmask。
➡️