kNN-CLIP: 基于检索的训练免费的连续扩展大词汇的分割
内容提要
本文介绍了多种基于CLIP模型的开放词汇语义分割方法，如NACLIP、CLIP-DIY和TagCLIP等，这些方法在不同数据集上表现优异。研究表明，通过无监督学习和创新框架，这些方法显著提升了零样本分割任务中的模型泛化能力和分割精度。
延伸解读
训练自由成为开放词汇分割的重要趋势
文章汇总的多个方法中，NACLIP、CLIP-DIY、TagCLIP 以及递归框架等均强调无需训练或微调即可实现开放词汇语义分割。这种思路降低了对大规模标注数据的依赖，同时避免了针对特定数据集的过拟合风险。读者可以关注这些方法如何在保持 CLIP 零样本能力的同时，通过自适应感知、无监督定位或可信标记等策略提升分割精度。
不同方法在数据集上的表现各有侧重
CLIP-DIY 在 PASCAL VOC 上取得最新零样本结果，在 COCO 上表现与最佳方法相当；TagCLIP 在 PASCAL VOC 2012 和 COCO-Stuff 164K 上对未知分类的 IoU 有显著提升；SegCLIP 在 PASCAL VOC 2012、PASCAL Context 和 COCO 上分别实现 +1.4%、+2.4% 和 +5.6% mIoU。这些差异提示读者，方法选择需结合具体数据集和任务目标，而非简单追求单一指标。
CLIP 的零样本能力可扩展到分割与持续学习
文章不仅涉及语义分割，还提到 CLIP 在冻结状态下用于持续学习、视频实例分割和点云语义分割等任务。例如，CLIP 在类增量、域增量和任务不可知增量学习设置中优于现有模型；CLIP-VIS 在视频实例分割数据集上表现出色。这表明 CLIP 的视觉语言知识具有跨任务迁移潜力，但具体性能仍受任务设计和评估基准影响。
像素级误识别是开放词汇分割的关键挑战
TagCLIP 针对 CLIP 在像素级开放词汇学习中的输入像素误识别问题，引入可信标记（trusty token）来提升泛化容量。这一思路说明，直接将 CLIP 应用于密集预测任务时，局部像素的语义混淆会限制分割精度。读者在评估类似方法时，可关注其如何处理像素与文本标记的对应关系，以及是否引入额外监督或后处理来缓解误识别。
Q&A
NACLIP 方法的主要特点是什么？
NACLIP 是一种开放词汇语义分割方法，通过自适应 CLIP 的可视化 transformer 强化感知，在多个评估中表现优异。
CLIP-DIY 如何实现零样本语义分割？
CLIP-DIY 利用无监督目标定位方法，直接在不同尺度的补丁上应用 CLIP 的分类能力，从而实现零样本语义分割。
TagCLIP 是如何提高模型的泛化能力的？
TagCLIP 通过引入可信标记，解决了 CLIP 在像素级开放词汇学习中的输入像素误识别问题，从而显著提升了模型的泛化能力。
CLIP-VIS 的主要功能是什么？
CLIP-VIS 是一种简单的编码器-解码器网络，用于自适应开放词汇视频实例分割，表现出色于各种视频实例分割数据集。
SegCLIP 如何提升分割精度？
SegCLIP 通过训练文本-图像对实现开放式词汇语义分割，结合重构损失和基于超像素的 KL 损失，提升了分割精度。
MaskCLIP 的工作原理是什么？
MaskCLIP 是一种基于 Transformer 的方法，使用 ViT-CLIP 骨架和掩模查询，执行语义和物体实例分割。
