Enhancing Few-Shot Semantic Segmentation with the Segment Anything Model
内容提要
该文综述了Segment Anything Model（SAM）在图像分割中的应用：提出批处理边界框提示微调、少样本语义分割框架、免训练个性化方法PerSAM及单次微调变体PerSAM-F；利用SAM结合CAM生成高质量伪标签以提升弱监督语义分割；评估SAM在眼部、医学及航空图像上的表现，发现其零样本分割可与专用模型媲美，但医学图像精度不及U-Net，需借助掩膜、特征增强现有模型或改进提示策略。
延伸解读
SAM在医学图像中的表现：零样本可用但精度有限
文章指出，SAM在医学图像分割上的零样本精度不及U-Net等专用模型，尤其在未重新训练时准确度较低。不过，SAM生成的掩膜、特征和稳定性分数可用于增强现有模型，例如与U-Net结合。此外，改进测试阶段提示增强技术能提升稀疏手动提示下的性能和鲁棒性。这表明SAM更适合作为辅助工具而非直接替代专用模型。
少样本与弱监督分割：SAM作为伪标签生成器
在少样本语义分割中，有研究利用SAM结合先前引导的掩模生成粗略像素级提示，在DLRSD数据集上优于其他少样本方法。在弱监督语义分割中，SAM与CAM结合生成更高质量伪标签，使五种先进方法的平均伪标签mIoU提升6.2%。这些应用显示SAM能有效降低对大量标注的依赖，但需依赖提示策略和后续处理来保证质量。
个性化分割与提示策略的灵活性
PerSAM是一种无需训练的个性化方法，通过位置先验定位目标概念，并利用目标引导注意力、目标语义提示和级联后处理在其他图像或视频中分割目标。其单次微调变体PerSAM-F可缓解掩模歧义。此外，批处理边界框提示微调框架能提升SAM在医学图像上的性能。这些工作表明，针对特定任务设计提示和微调策略是发挥SAM潜力的关键。
跨领域泛化：航空与眼部图像的表现差异
SAM在航空图像上通常表现良好，但在某些情况下会因航空图像和目标对象的独特特征而失败。在眼部图像中，SAM的分割效果可与专门模型媲美，使用提示工具后瞳孔分割IoU达到93.34%。然而，基于自然图像训练的基础模型在磁共振成像数据上整体效果不佳，仅在少数切片上表现良好。这提示SAM的跨领域泛化能力因成像模态而异，需谨慎评估。
Q&A
SAM在医学图像分割上的表现如何？和U-Net相比有什么差距？
SAM在医学图像分割上的准确度通常不及U-Net和其他深度学习模型，尤其是在没有针对医学图像重新训练的情况下。但SAM生成的掩膜、特征和稳定性分数可用于增强现有模型（如U-Net），从而提升分割性能。
PerSAM是什么？它如何实现无需训练的个性化分割？
PerSAM是一种无需训练的个性化方法，首先通过位置先验定位目标概念，然后利用目标引导注意力、目标语义提示和级联后处理三种技术，在其他图像或视频中分割该目标。此外还有单次微调变体PerSAM-F，用于缓解掩模歧义。
如何利用SAM提升弱监督语义分割的伪标签质量？
将SAM与类激活图（CAM）结合，生成更高质量的伪标签：用伪标签为特定类提供信号，选择相关掩膜进行标注，产生更精确的伪标签。该方法使五种最先进的弱监督语义分割方法的平均伪标签mIoU提高了6.2%。
SAM在航空图像上的分割效果怎么样？有没有失败的情况？
SAM在航空图像上通常表现良好，但在某些情况下会失败，原因在于航空图像和目标对象的独特特征。
SAM在眼部图像分割中能达到什么精度？对注视估计领域有什么意义？
在虚拟现实环境下记录的眼部图像中，SAM的分割效果可与专门模型相媲美，使用提示工具可进一步提升性能，示例数据集中瞳孔分割的IoU达到93.34%。SAM有望通过快速易用的图像分割方法革新注视估计领域，减少对专门模型和繁琐手动标注的依赖。
SAM处理医学图像时有哪些改进策略？比如提示增强或单切片到体积的方法？
改进策略包括：批处理基于真实掩蔽的边界框提示策略，以提高SAM在医学图像上的性能和解决复杂性；改进测试阶段提示增强技术，提高稀疏手动提示下的性能和鲁棒性；以及Single-Slice-to-Volume方法，仅使用单个2D切片的边界框注释即可实现3D像素级分割。
