通用的语义视觉查询生成对于零样本全景和语义分割
内容提要
本文综述了零样本图像分割与零样本学习的进展。ZegFormer通过无类别分组和分割标签实现零样本分类，并结合CLIP提升性能；ZS3Net结合词嵌入与自训练；其他方法包括生成模型合成未见类特征、GZSL低维嵌入、DSVTM语义视觉互适应、GAN视频分类及ContrastZSD对比学习。
延伸解读
零样本分割的技术路线差异
文章梳理了零样本分割的两类主要思路：一是如ZegFormer，基于分割标签和无类别分组，并引入CLIP等视觉语言模型进行零样本分类；二是如ZS3Net，结合语义词嵌入与自训练，直接处理像素级分类。前者依赖大规模预训练模型，后者强调语义空间到视觉表示的生成。读者可关注不同方法在利用语义信息方式上的根本区别。
生成模型在零样本任务中的角色
文章提到多种方法利用生成模型合成未见类特征，例如为看不见的类别生成视觉特征以支持全景、实例和语义分割，以及使用GAN进行视频分类。这类方法的核心是在无可见训练数据的情况下，通过语义空间中的跨类关系来指导视觉特征学习。其优势在于能扩展模型对未知类别的识别能力，但合成特征的质量和多样性可能影响最终性能。
广义零样本学习的偏见与对齐挑战
文章涉及多个广义零样本学习（GZSL）方法，如DSVTM和语义分离框架，均致力于缓解对已知类的偏见，并提升视觉-语义对齐。DSVTM通过逐步相互适应和减轻偏见的损失来追求已知与未知预测的一致性；语义分离框架则用条件VAE分解特征以确保语义一致性和独立性。这些工作表明，减少偏见和增强跨域交互是提升GZSL性能的关键。
Q&A
ZegFormer 是如何实现零样本图像语义分割的？
ZegFormer 采用无类别分组任务和基于分割标签的零样本分类任务两个子任务，并引入大规模视觉语言模型（如 CLIP），在 PASCAL VOC 和 COCO-Stuff 等数据集上取得了较大的性能提升。
ZS3Net 在零样本语义分割中有什么创新？
ZS3Net 将深度视觉分割模型与从语义词嵌入生成视觉表示的方法相结合，以在测试时间处理已见和未见类别的像素分类任务，并通过自我训练进一步提高性能。
广义零样本学习（GZSL）中如何解决视觉-语义间隙问题？
一种方法是提出视觉实例的低维嵌入来打破视觉-语义间隙，并借助一个新的视觉神谕来量化噪声语义数据的影响，以提高准确性。
DSVTM 模块在零样本学习中的作用是什么？
DSVTM 逐步建立属性原型和视觉特征之间的对应关系，构成逐步的语义-视觉相互适应网络，以实现语义消歧和知识可转移性的提高。
如何利用 GAN 进行零样本视频分类？
提出一种利用 GAN 进行视觉数据合成的框架，结合多级语义推理和匹配感知的互信息相关来提高合成视频特征的鉴别能力，实验表明可以显著提高零样本视频分类的性能。
ContrastZSD 在零样本目标检测中采用了什么机制？
ContrastZSD 是一种基于语义指导对比学习的检测框架，通过引入显式的语义指导和对比学习机制，来优化模型对未见过类别的认知，同时改善视觉特征结构以实现更好的视觉-语义对齐。
