基于 LLM 的层次化概念分解方法用于可解释的细粒度图像分类

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

该论文提出了一种基于文本监督的语义分割方法,通过使用图像 - 文本对进行对比学习,实现了视觉分割与文本的对齐。实验结果表明,该方法优于现有的文本监督的语义分割方法。

🎯

关键要点

  • 该论文提出了一种基于文本监督的语义分割方法。
  • 该方法通过图像 - 文本对进行对比学习,实现视觉分割与文本的对齐。
  • 提出了一种新颖的框架,称为图像 - 文本协同分解(CoDe)。
  • 在CoDe框架中,配对的图像和文本被共同分解为图像区域和单词片段。
  • 采用对比学习来强制执行区域 - 单词的对齐。
  • 提出了一种提示学习机制,以突出显示感兴趣的图像段落或单词片段。
  • 实验结果表明,该方法在六个基准数据集上优于现有的文本监督的语义分割方法。
➡️

继续阅读