MROVSeg：突破视觉语言模型在开放词汇语义分割中的分辨率诅咒
内容提要
本文介绍了多种基于图像文本交互的语义分割模型，如ViL-Seg和Fusioner。这些模型利用自然图像和文本数据进行零样本学习，显著提升了模型的泛化能力和分割效果，并在多个基准数据集上表现优异，推动了开放词汇语义分割的发展。
延伸解读
开放词汇分割的演进脉络
文章按时间顺序梳理了从2022年7月到2024年6月的一系列开放词汇语义分割工作，包括ViL-Seg、Fusioner、PnP-OVSS、Self-Seg、S-Seg和EBSeg等。这些方法逐步从依赖密集标注转向利用图像-文本对进行零样本学习，并不断简化流程、提升泛化能力。读者可从中看出该领域从两阶段微调向无需训练、无需类别名称方向发展的趋势。
技术路径的多样化尝试
文章提及了多种技术路线：ViL-Seg利用网络图像文本对；Fusioner融合语言与视觉特征；PnP-OVSS通过Salience Dropout实现无需训练的分割；Self-Seg结合LLM评估器；S-Seg实现像素级标签分配；EBSeg用自适应平衡解码器解决语义差异。这些方法分别针对标注成本、泛化能力、训练效率等不同痛点，展示了开放词汇分割领域的多元探索。
性能表现与评估基准
多个方法在Pascal VOC、ADE20K和CityScapes等基准数据集上取得了有竞争力的结果。例如，基于segment tokens的方法可与有监督训练竞争；Self-Seg在无需类别名称的情况下达到最新成果；EBSeg在多种基准测试中超越其他方法。这些结果表明开放词汇分割正逐步缩小与全监督方法的差距，但文章未提供具体数值对比。
Q&A
ViL-Seg模型的主要优势是什么？
ViL-Seg模型通过利用网络上自然存在的图像和文本数据，实现了无需密集标注的语义分割，表现优于传统的零样本分割方法。
Fusioner方法是如何提升语义分割效果的？
Fusioner方法将自然语言和视觉特征融合用于零样本学习，实验结果显示其优异的表现和强鲁棒性。
PnP-OVSS技术的创新之处是什么？
PnP-OVSS技术通过大规模视觉-语言模型实现了无需训练的开放词汇语义分割，显著改善了现有技术。
EBSeg框架是如何解决语义信息差异的？
EBSeg框架通过自适应平衡解码器和语义结构一致性损失，解决了训练和新类别之间的语义信息差异。
Self-Seg框架的主要功能是什么？
Self-Seg框架实现了无需提供类别名称的开放式词汇分割，取得了竞争力的结果。
S-Seg模型的优势在于什么？
S-Seg模型实现了准确的像素级标签分配，无需依赖于图像级别的VL模型，良好的泛化能力无需微调。
