在广义少样本语义分割中应用ViT
内容提要
本文介绍了广义Few-Shot语义分割（GFS-Seg）数据集及上下文感知原型学习（CAPL）方法，旨在提升少样本语义分割模型的性能。实验结果表明，CAPL在Pascal-VOC和COCO数据集上表现优异，具备良好的泛化能力和竞争力。此外，研究探讨了Vision Transformers在语义分割中的应用，并提出多种改进模型，强调稳健特征提取器的重要性。
延伸解读
从GFS-Seg到CAPL：方法演进与核心思路
文章首先提出广义少样本语义分割基准GFS-Seg，旨在同时评估模型对新类别（极少样本）和基础类别（充足样本）的泛化能力。随后介绍的CAPL方法，通过利用支持样本中的共现先验知识，并依据查询图像内容动态丰富上下文信息到分类器，从而提升分割性能。这一思路强调了对上下文信息的有效利用，而非单纯依赖样本数量。
ViT在语义分割中的改进与性能表现
文章梳理了多项基于Vision Transformer的语义分割研究，包括SegVit、SegViTv2、PlainSeg等模型。这些工作通过引入注意力机制、改进解码器结构或知识蒸馏等方式，在ADE20K、COCO-Stuff等数据集上取得了优于传统ViT骨干的性能。例如，SegVit利用ATM模块和Shrunk结构，在降低计算量的同时提升了分割精度。
稳健特征提取器比适配方法更关键
文章比较了DINO V2、Segment Anything、CLIP等视觉基础模型在少样本语义分割中的表现，发现DINO V2在不同数据集和适应方法上均优于其他模型。同时，各种适配器方法的表现相似，这表明选择稳健的特征提取器比设计复杂的适应技术更为重要。这一发现为少样本分割任务提供了实用指导。
视觉提示与传导提示调优的新进展
文章还介绍了通过少量样本学习视觉提示的方法，用于提示多尺度Transformer解码器，并引入单向因果注意力机制连接新提示与基础提示，从而在不损害基础类别性能的前提下提升新类别分割效果。该方法在COCO-20i和Pascal-5i基准上实现了最先进性能，且无需测试时优化。此外，利用未标记测试数据的传导提示调优可进一步改进提示质量。
Q&A
什么是广义Few-Shot语义分割（GFS-Seg）数据集？
广义Few-Shot语义分割（GFS-Seg）数据集用于分析在少量示例下分割新类别和基础类别的内在泛化能力。
上下文感知原型学习（CAPL）方法的主要特点是什么？
CAPL方法通过利用共现先验知识和动态丰富上下文信息来提高模型性能。
CAPL在Pascal-VOC和COCO数据集上的表现如何？
CAPL在Pascal-VOC和COCO数据集上表现优异，具备良好的泛化能力和竞争力。
Vision Transformers在语义分割中的应用有哪些？
Vision Transformers用于提取深度特征，并提出了多种改进模型，如SegVit和SegViTv2。
稳健特征提取器在少样本语义分割中的重要性是什么？
稳健特征提取器在少样本语义分割中起着关键作用，优于复杂的适应技术。
如何通过学习视觉提示来提升普适少样本分割（GFSS）任务的效果？
通过对Transformer解码器进行提示，利用少量样本学习视觉提示，可以实现准确的密集预测。
