DatUS^2：使用预训练的自监督视觉 Transformer 进行数据驱动的无监督语义分割
内容提要
该文综述无监督与自监督图像分割进展，重点介绍U2Seg统一框架，可同时实现实例、语义和全景分割，少样本下优于CutLER；还涵盖轻量聚类框架、CAUSE因果推断、U3DS³点云分割及医学图像预训练等研究。
延伸解读
U2Seg 的统一框架优势
U2Seg 通过自监督模型生成伪语义标签并进行自我训练，在统一框架下同时处理实例、语义和全景分割。相比专门设计的方法，它性能提升显著，并建立了无监督全景分割的新基准。在少样本场景（仅 1% COCO 标签）下，U2Seg 作为预训练模型比 CutLER 在 APmask 上提升 5.0 个点，展示了其通用性和数据效率。
轻量聚类框架的潜力
基于自监督视觉变换器的注意特征，轻量聚类框架通过将特征聚类成少量聚类中心，将前景和背景的图像补丁分开。该方法在无监督语义分割上潜力巨大，并在 PASCAL VOC 和 MS COCO 数据集上取得了最新成果，为无监督分割提供了一种简单有效的思路。
因果推断与三维分割进展
CAUSE 框架基于因果推断，通过前门调整和概念聚类实现适当级别的概念分割，在无监督语义分割中达到最先进性能。U3DS³ 则针对三维点云，利用点云固有信息实现完全无监督的全三维场景分割，在 ScanNet、SemanticKITTI 和 S3DIS 数据集上提供了最新研究成果和竞争力结果。
医学图像预训练策略
在医学图像分割中，自监督预训练使用自然图像和目标领域特定图像可实现最快最稳定的收敛。在低数据场景下，将图像分类网络预训练在 ImageNet 上可获得最佳精度。这为数据有限的医学图像任务提供了高效的预训练策略参考。
Q&A
U2Seg 是什么？它有什么主要特点？
U2Seg 是一个无监督通用分割模型，能够使用统一框架执行实例分割、语义分割和全景分割。它利用自监督模型生成伪语义标签并进行自我训练，性能显著提升，并为无监督全景分割建立了新基准。在少样本情况下（仅 1% COCO 标签），它比 CutLER 在 APmask 上提升了 5.0 个点。
无监督语义分割中，基于自监督视觉 Transformer 的轻量级聚类框架是如何工作的？
该框架基于自监督视觉变换器的注意特征，通过将这些特征聚类成少量的聚类中心，将前景和背景的图像补丁分开成不同的组。它在 PASCAL VOC 和 MS COCO 数据集上取得了最新的成果。
CAUSE 框架在无监督语义分割中采用了什么方法？
CAUSE 是一个基于因果推断的无监督语义分割新框架，通过前门调整和概念聚类手段实现适当级别的概念分割，从而在无监督语义分割任务中取得了最先进的性能。
U3DS³ 是什么？它在哪些数据集上表现优秀？
U3DS³ 是一个针对任何整体三维场景的完全无监督点云分割方法，通过利用点云的固有信息实现全三维场景分割。它在 ScanNet、SemanticKITTI 和 S3DIS 数据集上提供了最新的研究成果和具有竞争力的结果。
在医学图像分割中，自监督预训练方法有什么发现？
研究发现，在自监督学习方法中，使用自然图像和目标领域特定图像进行预训练可以实现最快和最稳定的收敛。在低数据场景下，将图像分类网络预训练在 ImageNet 上可以获得最佳精度。
半监督语义分割中，自我训练范式如何利用未标注数据？
自我训练范式通过用标注数据训练教师模型，并在大量未标注数据上生成伪标签，以较少的监督实现像素级准确模型。它在 Cityscapes、CamVid 和 KITTI 数据集上取得了最优表现，并在跨域泛化任务上表现更佳。为了减轻大量伪标签带来的计算负担，还提出了一种快速训练计划来加速分割模型的训练。
