SimAda：简洁统一的在低性能场景中调整分割模型的框架
内容提要
本文综述了SAM基础模型在图像分割中的应用与改进，研究者通过适配器、微调等方法将其扩展至伪装目标检测、阴影检测、医学图像分割和开放词汇检测等任务，显著提升性能，部分达最先进水平；同时指出SAM易受对抗攻击，并探讨其向基础模型发展的方向。
延伸解读
适配器方法：高效微调SAM的通用策略
文章综述的多个工作（如SAM-Adapter、AdapterShadow、Med SAM Adapter）都采用适配器技术，在冻结SAM图像编码器的基础上插入轻量可训练模块，将领域知识或视觉提示集成到分割网络中。这种方法避免了全模型微调的巨大计算开销，同时能显著提升SAM在特定任务上的性能，甚至超越专门设计的网络。适配器成为连接通用分割模型与垂直领域需求的有效桥梁。
跨领域性能提升：从伪装目标到医学图像
通过适配器、微调等方法，SAM被成功扩展到伪装目标检测、阴影检测、医学图像分割和开放词汇检测等任务。在伪装目标检测和阴影检测中，改进模型达到最先进水平；在医学图像分割中，AdaptiveSAM和Med SAM Adapter在多个数据集上优于现有方法。这些结果表明，SAM作为基础模型具有强大的泛化潜力，但需要针对领域特点进行适配才能发挥最佳效果。
安全隐忧：SAM易受对抗性攻击
文章特别指出，SAM容易受到对抗性攻击的影响，尤其是白盒攻击。这意味着在安全敏感的应用中直接部署SAM可能存在风险。虽然适配器等方法能提升特定任务性能，但并未解决模型本身的鲁棒性问题。未来研究需要在提升分割精度的同时，增强模型对恶意扰动的抵抗力，以确保实际应用中的可靠性。
效率优化：降低计算成本的新思路
针对高分辨率输入带来的高昂计算代价，有研究提出使用基于CNN检测器结合实例分割的替代方案，仅使用SAM作者发布的1/50数据集，便可在50倍运行时速下实现与SAM基本相当的性能。这表明在资源受限场景中，通过架构创新和训练策略优化，可以在保持性能的同时大幅提升效率，为SAM的轻量化部署提供了可行路径。
Q&A
SAM-Adapter 是什么？它有什么作用？
SAM-Adapter 是一种通过简单有效的适配器将特定领域信息或视觉提示集成到分割网络中的方法。实验表明，它可以显著提高 SAM 在挑战性任务中的性能，在伪装目标检测和阴影检测任务中甚至能胜过专门的网络模型，达到最先进的性能。
AdaptiveSAM 如何解决医学图像分割中的数据稀缺问题？
AdaptiveSAM 是一种改进模型，可以快速有效地适应新的数据集，并支持使用文本提示进行分割。它在各种医学图像数据集上优于当前最先进的方法，从而缓解了医学图像分割中数据稀缺的挑战。
PerSAM 是什么？它如何实现无需训练的目标分割？
PerSAM 是一种无需训练的个性化方法，首先通过位置先验定位目标概念，然后通过目标引导注意力、目标语义提示和级联后处理在其他图像或视频中分割目标。此外，还提出了高效的单次微调变体 PerSAM-F 以缓解掩模歧义，并构建了新的分割数据集 PerSeg。
Sambor 如何将 SAM 与开放词汇目标检测器集成？
Sambor 通过引入 SideFormer 模块和开放区域建议网络（Open-set RPN）等创新方法，将 SAM 与开放词汇目标检测器无缝集成，提升了 SAM 在检测任意对象和开放词汇识别方面的性能。在 COCO 和 LVIS 等基准测试中展现出卓越的零样本性能。
SAM 模型存在哪些安全风险？
根据综述，SAM 易受对抗性攻击的影响，尤其是白盒攻击。
Med SAM Adapter 在医学图像分割中有什么优势？
Med SAM Adapter 通过将医学特定领域知识与分析模型进行简单有效的适应技术集成，将 SAM 的强分割能力扩展到医学图像分割。它在多种图像模态下优化了 19 项医学图像分割任务，超过了各种已有的基于医学图像分割的最新技术，并与全面优化的 MedSAM 相比有不错的性能优势。
