基于分段全景模型（SAM）的光学遥感图像与地图数据之间的变化检测
内容提要
该文综述了Segment Anything Model（SAM）在遥感与视觉分割领域的研究，包括：结合引导掩模的少样本语义分割、航空与轨道影像分析、基于视觉基础模型的高分辨率遥感变化检测、大规模遥感分割数据集SAMRS、SAM零样本分割性能及航空图像局限评估、GeoSAM精细分割地理图像移动设施，以及基于SAM的无监督变化检测与视频对象分割。
延伸解读
SAM在遥感分割中的适应与局限
文章指出SAM作为通用分割基础模型，在航空图像上通常表现良好，但在某些情况下会因航空图像和目标对象的独特特征而失败。这意味着直接套用SAM处理遥感数据并不可靠，需要针对遥感场景进行适配。例如，后续研究通过引导掩模生成粗略像素级提示，在DLRSD数据集上提升了少样本语义分割效果，说明提示工程是弥补SAM局限的有效途径之一。
变化检测的两条技术路线
文章呈现了变化检测的两种思路：一是基于目标引导的Transformer（ObjFormer），结合目标基于图像分析（OBIA）和视觉Transformer，利用光学高分辨率图像与OSM数据直接检测土地覆盖变化，并引入半监督语义变化检测任务；二是无监督方法SCM，借助视觉基础模型和CLIP改进特征提取与变化边缘辨别，在LEVIR-CD和WHU-CD上分别提升mIoU 7.58%和4.58%。两者在监督方式和数据依赖上形成对比。
大规模数据集与地理精细分割的进展
SAMRS通过整合SAM和现有遥感目标检测数据集，生成了规模超过现有高分辨率遥感分割数据集的大规模分割数据，可用于语义分割、实例分割和目标检测，并支持大规模模型预训练研究。GeoSAM则利用零样本稠密视觉提示和预训练CNN的稀疏视觉提示，对地理图像中的移动设施进行精细调优，在道路基础设施、行人基础设施和平均指标上分别提升20%、14.29%和17.65%，展示了SAM在特定地理场景的调优潜力。
Q&A
SAM模型在遥感图像分析中有什么应用潜力？
SAM可应用于遥感图像分析，特别是处理来自不同地理背景的航空和轨道影像，实现其在遥感影像处理中的潜力。
如何利用视觉基础模型提高高分辨率遥感图像的变化检测性能？
利用Vision Foundation Models（VFMs）的强大视觉识别能力，可提高高分辨率遥感图像（RSIs）的变化检测，这是首次将VFMs应用于高分辨率遥感图像的变化检测。
SAMRS数据集是什么？它有什么特点？
SAMRS是通过整合SAM和现有的遥感物体检测数据集生成的大规模遥感分割数据集，其大小超过了现有的高分辨率遥感分割数据集，可用于语义分割、实例分割和目标检测等研究领域。
SAM在航空图像上的分割效果如何？有哪些局限性？
SAM在航空图像上通常表现良好，但在某些情况下由于航空图像和目标对象的独特特征而失败。
GeoSAM是什么？它在分割地理图像中的移动设施方面表现如何？
GeoSAM是基于SAM的新框架，利用零样本学习的稠密视觉提示和预训练CNN分割模型的稀疏视觉提示，对地理图像中的移动设施进行精细调优。在地理图像分割中优于现有方法，特别是在道路基础设施、行人基础设施和平均方面分别提高了20%、14.29%和17.65%。
无监督变化检测方法SCM是如何工作的？效果如何？
SCM利用Vision Foundation Model (VFM)和Contrastive Language-Image Pre-training (CLIP)来改进特征提取和提高辨别性变化边缘，在LEVIR-CD和WHU-CD数据集上实验结果表明mIoU分别提高了7.58%和4.58%。
