ConSept：基于适配器的视觉 Transformer 的持续语义分割
内容提要
该文综述视觉Transformer在语义分割中的进展，涵盖SegViTv2、SegVit、SETR、GroupViT、ViL-Seg等模型，通过全局注意力、ATM模块、适配器等技术提升性能并降低计算成本，在ADE20K、COCO-Stuff等数据集上取得领先结果，并探索持续学习与零样本分割。
延伸解读
适配器如何提升ViT密集预测性能
文章提到，ViT在密集预测任务中性能较差，而基于适配器的方法能有效解决这一问题。ViT-Adapter-L在不使用额外数据的情况下，在COCO test-dev上达到了state-of-the-art性能，并成功应用于目标检测、实例分割和语义分割。这表明适配器是一种通用且强大的解决方案，能弥补ViT在密集预测上的不足。
持续学习在语义分割中的进展
文章介绍了一种新的持续学习方案，通过原型匹配、特征稀疏化和对比学习三个组件，纠正模型在学习新任务时遗忘旧任务的问题。在Pascal VOC2012和ADE20K数据集上，该方法取得了显著准确性，远超现有技术。同时，SegViTv2也在持续学习环境下实现了近乎零遗忘，说明持续学习正成为语义分割的重要研究方向。
零样本分割的两种路径
文章提到了两种零样本分割方法：GroupViT仅依赖文本监督，无需像素级注释，在PASCAL上达到52.3% mIoU；ViL-Seg利用图像文本交互，无需密集标注，在三个基准数据集上优于需要数据标注的零样本方法。这两种方法都减少了标注依赖，但GroupViT强调文本监督，ViL-Seg强调图像文本交互，为开放世界分割提供了不同思路。
Q&A
SegViTv2 在持续学习环境下有什么优势？
SegViTv2 在持续学习环境下实现了近乎零遗忘，这得益于其全局注意力机制和轻量级 Attention-to-Mask 模块构建的高性能解码器，以及 Shrunk++ 结构降低编码器计算成本。
SETR 在语义分割中有什么创新？
SETR 首次探索了视觉变换器（ViT）的全局上下文学习潜力以实现密集视觉预测，将图像编码为一系列补丁并学习全局上下文，使 ViT 可以捕获更强的长距离依赖信息，在 ADE20K 和 Pascal Context 数据集上取得了出色表现。
GroupViT 如何实现零样本语义分割？
GroupViT 是一种分层分组视觉变换器，能够学习将图像区域分组成任意形状的语义段，且仅依赖于文本监督，无需像素级注释，从而实现了零样本语义分割，并在 PASCAL 语义分割数据集上获得了 52.3% 的 mIoU。
ViT-Adapter 在密集预测任务中有什么作用？
ViT-Adapter 是一种基于适配器的简单而强大的密集预测任务适配器，用于解决 Vision Transformer (ViT) 在密集预测中的性能较差问题，并成功应用于目标检测、实例分割和语义分割等多种密集预测任务中，其中 ViT-Adapter-L 模型在不使用额外数据的情况下，在 COCO test-dev 数据集上实现了 state-of-the-art 的性能。
ViL-Seg 模型有什么特点？
ViL-Seg 是一种基于图像文本交互的语义分割模型，通过无需密集标注的方式，利用网络上自然存在的图像和文本数据，学习到能够直接分割任意开放世界类别对象的能力，实验结果在三个基准数据集上优于需要数据标注的零样本分割方法。
持续学习方案如何解决语义分割中的遗忘问题？
该持续学习方案通过神经网络的原型匹配、特征稀疏化和对比学习等三个新组件来纠正模型在学习新任务时遗忘旧任务的问题，在语义分割上进行了测试并在 Pascal VOC2012 和 ADE20K 数据集上取得了显著的准确性，远超过现有技术。
