探索简化开放词汇语义分割
内容提要
该文综述开放词汇语义分割研究：OpenSeg利用图像级监督生成掩码，在PASCAL上较LSeg提升19.9个百分点；Self-Seg结合LLM评估器实现无需类别名称的分割；部分方法将预训练视觉-语言模型知识转为分割token，或借助Transformer与图文对预训练提升零样本迁移。LSeg以文本与图像编码器实现零样本分割；PnP-OVSS无需训练；跨模态伪标签框架提升实例分割mAP；CLIP-S4实现无标注多任务分割。
延伸解读
开放词汇分割的监督信号演进
文章梳理的方法显示，开放词汇语义分割正从依赖图像级监督向更少标注演进。OpenSeg利用可扩展的图像级监督生成掩码，Self-Seg则无需类别名称，CLIP-S4甚至无需人工注释。这反映出该领域在降低标注成本上的持续努力，但各方法评测数据集不同，直接比较性能提升需谨慎。
预训练视觉-语言模型的关键角色
多个方法都建立在预训练视觉-语言模型之上。LSeg用文本和图像编码器实现零样本分割，PnP-OVSS无需训练即可即插即用，还有工作将预训练模型知识转化为分割token。这表明复用大规模图文预训练知识已成为开放词汇分割的主流路径，其价值在于对未见类别的泛化能力。
零样本与无需训练的实用取向
LSeg强调测试阶段对未见类别泛化而无需重新训练，PnP-OVSS则完全无需训练。这类设计降低了部署门槛，适合类别动态变化的场景。但文章也提到部分方法仍需微调或伪标签自训练，实际选择时需权衡训练成本、标注需求与分割精度，而非只看零样本标签。
伪标签与跨模态对齐的增益与局限
跨模态伪标签框架通过视觉特征对齐为新类别打标并自训练学生模型，在MS-COCO和Open Images & Conceptual Captions上分别提升4.5%和5.1% mAP。这说明伪标签能缓解新类别标注缺失，但文章也指出伪掩膜存在噪声干扰，方法设计需专门处理该问题，其收益高度依赖伪标签质量。
Q&A
OpenSeg模型在开放词汇语义分割中有什么创新和效果？
OpenSeg通过学习像素的可视化分组和视觉-语义对齐，利用可扩展的图像级监督生成分割掩码，实现开放词汇的分割与组织。相比LSeg模型，在PASCAL数据集上精度提高了19.9个百分点。
Self-Seg框架如何实现无需类别名称的开放词汇分割？
Self-Seg通过自主引导的语义分割框架和基于LLM的开放式词汇评估器（LOVE），在不需要提供类别名称的情况下实现开放词汇分割，并在Pascal VOC、ADE20K和CityScapes上取得最具竞争力的结果。
LSeg模型是如何进行语言驱动的语义图像分割的？
LSeg使用文本编码器计算输入标签的嵌入，基于Transformer的图像编码器计算输入图像的嵌入，实现描述性标签的密集像素嵌入。通过语义类文本嵌入与像素嵌入各自计算来训练图像编码器，从而在测试阶段对未见类别进行泛化，无需重新训练或仅需单样本训练，具有高度竞争的零样本性能。
PnP-OVSS是什么？它有什么技术特点？
PnP-OVSS是一种无需训练的Plug-and-Play开放词汇语义分割技术，通过大规模视觉-语言模型实现，并采用Salience Dropout技术，与现有技术相比有显著改善。
跨模态伪标签框架如何提升开放词汇实例分割的性能？
该框架通过与对象掩膜的视觉特征对齐，实现对字词语义中新类别的标记，自我训练学生模型，缓解伪掩膜噪声干扰。在MS-COCO和Open Images & Conceptual Captions数据集上分别实现了4.5%和5.1%的mAP提升。
CLIP-S4方法在语义分割任务中有什么优势？
CLIP-S4通过自监督学习和视觉-语言模型，无需人类注释和未知类信息即可进行无监督、迁移学习和语言驱动分割等多种语义分割任务，并在未知类别识别上表现出良好性能优势。
