基于实例的 SAM: 为多样化视觉任务构建开放世界模型
内容提要
2023年多项研究评估并拓展了Meta的Segment Anything Model（SAM）。SAM基于点、框等提示实现零样本图像分割，精度常媲美甚至超越专用模型，但在航空图像等场景仍会失败。后续工作将SAM与开放词汇检测、3D检测、遥感分割、CLIP等结合，提出Sambor、Open-Vocabulary SAM、GeoSAM等框架，并用于少样本分割和显著目标检测，显著提升性能。
延伸解读
SAM的零样本能力与局限
SAM基于点、框等提示实现零样本图像分割，在多个视觉基准上精度媲美甚至超越专用模型。但在航空图像等特定场景，由于目标特征独特，SAM仍会失败。这提示读者，SAM并非通用解决方案，实际应用中需评估领域适应性。
与开放词汇检测的融合
Sambor将SAM与开放词汇目标检测器集成，引入SideFormer和Open-set RPN，在COCO和LVIS上展现卓越零样本性能。Open-Vocabulary SAM则结合CLIP，通过知识转移模块实现同时分割和识别，可处理约22,000个类别，显著优于简单组合。
在3D与遥感领域的拓展
SAM被拓展至3D检测，基于BEV流程在Waymo数据集验证可行性。在遥感领域，GeoSAM利用稠密和稀疏视觉提示，在地理图像分割中性能提升显著，道路和行人基础设施分割分别提高20%和14.29%。
少样本与显著目标检测的应用
利用SAM进行少样本语义分割，通过先前引导的掩模生成像素级提示，在DLRSD数据集上优于其他方法。在显著目标检测中，基于低秩结构自适应微调SAM，在五个RGB基准上超越最先进方法。
Q&A
SAM是什么？它有什么主要功能？
SAM是Meta AI Research开发的Segment Anything Model，是第一个针对视觉任务的基础模型。它能够基于点、边界框或掩码等输入提示，在图像中分割对象，并实现零样本图像分割。
SAM在零样本图像分割上的表现如何？
SAM在大量视觉基准任务上的零样本图像分割准确性通常与专门训练的视觉模型类似，有时甚至超过它们。但在航空图像等特定场景下，由于图像和目标的独特特征，SAM仍会失败。
有哪些研究将SAM与其他模型结合以扩展其能力？
多项研究将SAM与开放词汇检测、3D检测、遥感分割、CLIP等结合，提出了Sambor、Open-Vocabulary SAM、GeoSAM等框架。例如，Sambor将SAM与开放词汇目标检测器集成，用于检测任意对象；Open-Vocabulary SAM集成CLIP和SAM，实现同时交互分割和识别；GeoSAM利用稠密和稀疏视觉提示，提升地理图像分割性能。
SAM在3D视觉任务中如何应用？
有研究将SAM的能力扩展到3D视觉任务中，通过SAM提出的BEV流程管道构建，提高零样本能力以实现3D物体检测，并在Waymo开放数据集上展示了可行性。
SAM在遥感图像分割中有什么进展？
研究利用多个基础模型（包括SAM）促进遥感图像语义分割任务，在多个广泛使用的遥感数据集上取得了高准确性。此外，GeoSAM框架通过零样本学习的稠密视觉提示和预训练CNN分割模型的稀疏视觉提示，在地理图像分割中优于现有方法，特别是在道路基础设施、行人基础设施和平均方面分别提高了20%、14.29%和17.65%。
Open-Vocabulary SAM是如何实现分割和识别的？
Open-Vocabulary SAM将CLIP和SAM集成到统一框架中，通过知识转移模块SAM2CLIP和CLIP2SAM进行知识转移，实现了同时交互分割和识别，显著优于简单组合SAM和CLIP的基准线。通过图像分类数据训练，该方法可以分割和识别大约22,000个类别。
