OTSeg: 多提示 Sinkhorn 注意力用于零样本语义分割
内容提要
本文提出了一种基于CLIP的零样本分割方法，通过优化文本提示和图像嵌入，显著提升医学图像分割性能。研究验证了多视角提示学习和自适应提示优化框架的有效性，实验结果显示该方法在多个数据集上具有优越表现和良好的泛化能力。
延伸解读
技术演进：从图像级到像素级的零样本分割
文章梳理了基于CLIP的零样本语义分割发展脉络。早期方法如ZegCLIP将CLIP从图像级扩展到像素级，通过设计处理过拟合问题；后续SPT-SEG引入高频和低频信息引导网络空间焦点，实现精确像素级预测；S-Seg则无需图像级VL模型和地面实况掩码即可完成像素级标签分配。这些进展显示该领域正逐步降低对标注数据的依赖，并提升泛化能力。
多视角提示学习与自适应优化
MVP-SEG通过多视角提示学习优化CLIP特征，并利用知识转移阶段将已知类别的多视角提示学习推广到未知类别，在多个基准测试上显著优于先前方法。TEPO框架则针对SAM在医学图像分割中的脆弱性，通过强化学习优化自适应提示，在BraTS2020上验证了其增强SAM零样本能力的有效性。这些方法共同指向提示工程与自适应优化在提升分割性能中的关键作用。
医学图像分割的零样本探索
文章特别关注医学图像分割场景。TEPO框架旨在增强SAM在医学图像分割中的零样本能力，通过自适应提示形式优化和强化学习，在BraTS2020基准上展示了性能提升。CLIP-ES框架也在胸部X射线图像的肺分割中取得显著改进。这些工作表明，零样本分割技术正逐步渗透到医学影像领域，有望缓解医学数据标注稀缺的问题。
性能表现与泛化能力
多项方法在标准数据集上验证了其优越性。SegCLIP在PASCAL VOC 2012、PASCAL Context和COCO上实现了相当或更高的分割精度，分别提升1.4%、2.4%和5.6% mIoU。S-Seg模型无需微调即可在多个测试数据集上良好泛化。这些结果说明，基于CLIP的零样本分割方法在泛化能力和精度上均展现出潜力，但实际部署仍需考虑具体场景的适应性。
Q&A
OTSeg方法如何提高医学图像分割性能？
OTSeg方法通过优化文本提示和图像嵌入，结合多视角提示学习和自适应提示优化框架，显著提升了医学图像分割性能。
MVP-SEG多视角提示学习的优势是什么？
MVP-SEG能够优化CLIP特征，并通过知识转移将已知类别的多视角提示学习推广到未知类别，显著提高分割性能。
SPT-SEG方法如何改善CLIP的自适应能力？
SPT-SEG通过引导网络的空间焦点，利用高频和低频信息，实现从图像到像素的精确转换，提升了自适应能力。
TEPO框架在医学图像分割中的作用是什么？
TEPO框架增强了SAM在医学图像分割中的零样本能力，通过强化学习进一步提高了分割性能。
ZegCLIP方法的创新之处在哪里？
ZegCLIP将零样本语义分割从图像级别扩展到像素级别，采用简单有效的设计来处理过拟合问题，提升了泛化能力和速度。
SegCLIP模型如何实现开放式词汇语义分割？
SegCLIP通过训练文本-图像对来聚集可学习中心的补丁，形成语义区域，从而实现开放式词汇语义分割。
