利用文本监督进行参考图像分割

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

我们提出了一种新颖的弱监督引用图像分割框架,通过利用已有的引用文本来定位目标物体。我们的框架具有三个创新点:协调视觉和语言特征之间的域差异,减少噪声背景信息并提高响应图的正确性,生成高质量的伪标签用于训练分割网络。实验证明,我们的框架在性能上优于最新的弱监督方法。

🎯

关键要点

  • 提出了一种新颖的弱监督引用图像分割框架。
  • 框架通过分类过程中的正负文本表达区分来定位目标物体。
  • 三个主要创新点:协调视觉和语言特征的域差异、减少噪声背景信息、生成高质量的伪标签。
  • 采用双向提示方法和校准方法提高响应图的正确性。
  • 通过正响应图选择策略生成伪标签用于训练分割网络。
  • 在四个基准数据集上的实验表明,框架性能优于最新的弱监督方法。
➡️

继续阅读