UV-SAM：适应城中村识别的分割模型
内容提要
该文综述了Segment Anything Model（SAM）在视频对象分割、少样本语义分割、遥感与航空影像、地理图像、生物医学影像及皮肤癌分割等领域的应用与改进。研究表明，SAM的零样本分割精度常接近或超过专用模型，但在航空影像及颈动脉、视神经等部分医学目标上仍会失败；结合提示生成、领域自适应和鲁棒性优化可显著提升其性能。
延伸解读
SAM的零样本能力与领域短板
文章指出，SAM在多个视觉基准任务上的零样本分割精度常接近甚至超过专用模型，但在航空影像以及颈动脉、视神经等部分医学目标上仍会失败。这说明SAM的通用性并非无条件，其表现高度依赖目标与训练数据的相似度。读者需注意，零样本结果不能直接等同于实际部署效果，尤其在专业领域仍需针对性评估。
提示生成与领域自适应是关键改进路径
针对SAM在特定领域的不足，文章综述了多种改进策略：利用视频显著对象跟踪生成轨迹提示、借助先前引导的掩模生成粗略像素级提示、集成预训练CNN作为提示生成器，以及结合稠密与稀疏视觉提示的GeoSAM框架。这些方法的核心在于通过外部信息或领域知识弥补SAM的零样本缺陷，实验显示在遥感、地理图像等任务上带来显著提升。
鲁棒性研究揭示实际应用风险
文章提到一项全面的鲁棒性研究发现，SAM在面对多种图像扰动时性能普遍下降。这意味着在真实场景中，图像质量、噪声或分布变化可能削弱分割效果。该研究同时指出，定制提示技巧和利用领域知识可以提高模型弹性。对于计划应用SAM的读者，需将鲁棒性测试纳入评估流程，而非仅关注理想条件下的精度。
Q&A
SAM在零样本图像分割任务上的表现如何？
SAM通常能达到与专门训练的视觉模型相似甚至更高的识别精度，但在航空图像等特定场景下，由于图像和目标的独特特征，仍会出现失败情况。
如何提升SAM在遥感图像上的分割性能？
可以集成预训练的卷积神经网络作为提示生成器，为SAM增加识别能力，从而改善其在遥感图像上的表现。实验表明，该方法在WHU Buildings、Massachusetts Buildings和AICrowd Mapping Challenge等数据集上显著提高了不同分布的性能。
SAM在医学图像分割中有哪些不足？
尽管SAM在许多医学图像应用中达到或超越了最先进水平，但在分割颈动脉、肾上腺、视神经和下颌骨等特定目标时仍存在不足。
GeoSAM是什么？它在地理图像分割中有什么优势？
GeoSAM是一个基于SAM的新框架，利用零样本学习的稠密视觉提示和预训练CNN分割模型的稀疏视觉提示，对地理图像中的移动设施进行精细调优。它在地理图像分割中优于现有方法，在道路基础设施、行人基础设施和平均方面分别提高了20%、14.29%和17.65%。
UVOSAM是什么？它在视频对象分割中表现如何？
UVOSAM是一种新的无监督视频对象分割范例，利用SAM和视频显著对象跟踪网络生成显著前景对象的轨迹作为提示，对每一帧视频进行对象分割。实验结果显示，UVOSAM显著优于当前基于标记方法的分割方法。
SAM在面对图像扰动时的鲁棒性如何？如何提高其鲁棒性？
SAM在面对多种图像扰动时性能普遍下降。通过定制提示技巧和利用领域知识，可以提高模型的弹性和解决数据集特定挑战的能力，从而提供更健壮和多功能的图像分割解决方案。
