如何为语义分割基础模型进行基准测试？
内容提要
本文研究了不同视觉基础模型在分割任务中的性能，发现DINO V2在多个数据集上表现优越。强调了稳健特征提取器的重要性，并提出了一种基于自监督预训练的轻量级模块，有效生成语义分割数据集的注释。此外，提出的知识迁移方法显著提升了小型任务模型的性能。
延伸解读
稳健特征提取器比适配方法更关键
文章比较了DINO V2、Segment Anything、CLIP、Masked AutoEncoders和ResNet50等视觉基础模型，发现DINO V2在多个数据集和适应方法上始终领先。同时，各种适配器方法表现相似，说明在少样本语义分割中，选择稳健的特征提取器比设计复杂的适应技术更为重要。这提示研究者和开发者应优先关注特征提取器的质量。
自监督预训练模块降低标注成本
文章提出一种基于自监督预训练的轻量级模块，利用预训练视觉编码器与文本编码器对齐图像特征，从而为语义分割数据集生成免费注释。该模块只需少量无注释训练数据，就能为任何预训练视觉编码器带来基于语言的语义，并展现出令人印象深刻的泛化能力，有助于减少对人工标注的依赖。
知识迁移提升小模型在有限数据下的性能
针对小型任务特定模型，文章提出一种简单高效的知识迁移方法。实验表明，在有限标记数据下，该方法在四个目标任务上优于任务无关的VFM蒸馏、Web规模CLIP预训练和监督式ImageNet预训练，分别提升1-10.5%、2-22%和2-14%。研究还指出迁移数据集对最终性能有显著影响，并建议用基于图像检索的方法筛选有效迁移集。
不同ViT架构的局部表示能力差异
文章对多种自监督视觉变换器进行了比较分析，重点评估其局部表示质量。发现基于对比学习的方法（如DINO）能产生更通用的局部表示，无需参数调整即可用于下游任务；而掩蔽图像建模方法学到的嵌入具有高方差特征，对大多数下游任务无益。移除这些高方差特征可改进k-NN算法。此外，DINOv2在物体实例检索上表现不如计算消耗更小的DINO模型。
Q&A
DINO V2在语义分割任务中的表现如何？
DINO V2在多个数据集上表现优越，始终优于其他视觉基础模型。
如何生成语义分割数据集的注释？
可以使用基于自监督预训练的轻量级模块，利用现有基础模型生成免费注释。
知识迁移方法对小型任务模型的影响是什么？
知识迁移方法显著提升了小型任务模型的性能，尤其在有限标记数据下表现优越。
稳健特征提取器的重要性是什么？
稳健特征提取器比适应技术本身更为重要，关键在于特征提取的质量。
不同ViT架构在语义分割中的表现如何？
不同ViT架构在语义分割中表现各异，研究调查了其性能并进行了比较。
如何增强基于实例感知的语义映射？
可以通过提出的概率标签融合方法来增强基于实例感知的语义映射。
