CastDet: 以 CLIP 激活的师生学习实现开放词汇空中目标检测

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本文介绍了一种基于CLIP模型和图像水平监督的对象中心对齐方法,通过伪标注实现高质量对象提议并扩展词汇表,结合两种对象对齐策略,最小化OVD方案中对象和图像中心表示的差距。该方法在COCO数据集上取得了36.6的AP50表现,超过了以前的最佳性能,在LVIS上,罕见类别的掩膜AP超过了最新的ViLD模型,总体提高了3.4。

🎯

关键要点

  • 提出了一种基于CLIP模型和图像水平监督的对象中心对齐方法。
  • 运用伪标注实现高质量对象提议并扩展词汇表。
  • 结合两种对象对齐策略,最小化OVD方案中对象和图像中心表示的差距。
  • 在COCO数据集上取得了36.6的AP50表现,超过了以前的最佳性能。
  • 在LVIS上,罕见类别的掩膜AP超过了最新的ViLD模型,总体提高了3.4。
➡️

继续阅读