基于 LLM 的层次化概念分解方法用于可解释的细粒度图像分类
内容提要
本文提出了一种多层次概念发现框架，结合深度学习和图像-文本模型，提升决策过程的可解释性。通过层次树结构，用户可以探索新概念并生成视觉创意。同时，研究展示了基于文本监督的语义分割方法，利用图像-文本对实现视觉与文本的对齐，显著提高了分割效果。
延伸解读
可解释性提升与性能平衡
文章指出，通过注入语义概念的层次树来规范化图像数据实例的表达，可以提高模型可解释性并改善语义概念的分离，同时不会对分类性能产生负面影响。这表明可解释性增强不一定以牺牲准确性为代价，为实际应用提供了重要参考。
文本监督分割的进展与优势
基于文本监督的语义分割方法仅使用图像-文本对，无需密集标注，通过对比学习实现视觉与文本对齐。提出的CoDe框架将图像和文本共同分解为区域和单词片段，并采用提示学习机制，在六个基准数据集上优于现有方法，显著降低了标注成本。
细粒度视觉理解的评估基准
文章揭示了大型视觉语言模型在细粒度视觉分类方面的缺陷，并提出了一个多粒度属性为中心的评估基准，用于评估模型的细粒度视觉理解能力并提供显著改进的可解释性。这有助于推动模型在细粒度任务上的性能提升。
层次化概念发现的应用潜力
多层次概念发现框架允许用户探索和发现从原概念衍生出的新概念，并可将每个节点中学到的概念因素组合起来创造新的视觉创意，在自然语言句子中应用这些概念因素实现新设计。这展示了在创意设计等领域的应用潜力。
Q&A
什么是多层次概念发现框架？
多层次概念发现框架结合深度学习和图像-文本模型，提升决策过程的可解释性，允许用户探索新概念并生成视觉创意。
该研究如何提高语义分割的效果？
研究通过基于文本监督的语义分割方法，利用图像-文本对实现视觉与文本的对齐，显著提高了分割效果。
用户如何利用层次树结构探索新概念？
用户可以通过层次树结构探索从原概念衍生的新概念，并组合节点中的概念因素创造新的视觉创意。
该方法与传统的CBM方法相比有什么优势？
该方法不仅胜过最近的CBM方法，还为解释性提供了一个有原则的框架，提升了决策过程的可解释性。
如何实现视觉与文本的对齐？
通过图像-文本对的对比学习，强制执行区域与单词的对齐，从而实现视觉与文本的对齐。
该研究的实验结果如何？
实验结果表明，该方法在多个基准数据集上优于现有的文本监督的语义分割方法，显示出显著的改进。
