用于开放词汇分割的协同视觉 - 文本表示优化
内容提要
本文介绍了多种基于CLIP模型的开放词汇语义分割方法，如VT-CLIP、CLIP-VIS和NACLIP。这些方法通过引入新模块和技术，显著提升了视频实例分割和语义分割的性能，尤其在零样本任务中表现突出，有效解决了领域偏差和特征对齐问题。
延伸解读
开放词汇分割的挑战与CLIP的适配
开放词汇语义分割要求模型能分割训练时未见过的类别，而CLIP等视觉-语言模型虽具备零样本能力，却存在领域偏差和特征对齐问题。文章指出，直接应用CLIP效果有限，因此研究者提出多种改进方法，如VT-CLIP通过可视化引导文本、NACLIP利用自适应Transformer强化感知，以提升分割性能。
视频实例分割的时序一致性探索
在视频实例分割中，除了领域偏差，时序一致性不足也是关键挑战。CLIP-VIS采用冻结的CLIP图像编码器，并引入类不可知掩码生成、时序Top-K增强匹配等模块；OVFormer则专门解决时序一致性利用不足的问题，在LV-VIS数据集上达到最先进水平，并展现出强零样本泛化能力。
无需训练的分割策略与评估改进
为降低训练成本，CLIPtrase提出无需训练的语义分割策略，通过重新校准补丁自相关性提升局部特征认知，在准确性和对象间语义一致性上超越现有无需训练方法。同时，SCAN引入广义语义先验避免已知类别崩溃，并提出SG-IoU度量以解决评估中忽略类间语义重复的问题。
多方法性能对比与实用启示
文章汇总的多种方法在零样本任务中表现突出：Cascade-CLIP通过级联对齐多层级视觉特征与文本嵌入，在零样本语义分割中取得优秀性能；ViL-Seg利用图像文本交互直接分割开放世界类别，优于传统零样本方法。这些进展表明，结合视觉-文本表示优化能有效提升开放词汇分割的泛化能力。
Q&A
VT-CLIP 方法是如何增强 CLIP 模型的表现的？
VT-CLIP 方法通过可视化引导文本，使文本特征更适应图片，从而在多分类任务中表现出很高的效果。
CLIP-VIS 的主要特点是什么？
CLIP-VIS 是一种简单的编码器-解码器网络，采用冻结的 CLIP 图像编码器，并引入了类不可知的掩码生成等模块，表现出色于视频实例分割。
OVFormer 方法解决了哪些问题？
OVFormer 解决了领域偏差和时间一致性不足的问题，在零样本任务中表现优异。
SCAN 方法是如何处理开放词汇分割中的领域偏置问题的？
SCAN 方法通过使用广义上下文先验，校准词汇内和领域偏置的嵌入空间，避免在已知类别上崩溃。
NACLIP 方法的创新之处在哪里？
NACLIP 通过自适应 CLIP 的可视化 transformer 强化感知，获得了最先进的开放词汇语义分割性能。
ViL-Seg 模型的优势是什么？
ViL-Seg 模型能够直接分割开放世界类别对象，优于传统的零样本分割方法，且无需密集标注。
