MAS-SAM: 基于聚合特征的海洋动物分割
内容提要
本文介绍了多个基于Segment Anything Model (SAM)的特征学习框架，如Dual-SAM、AquaSAM和MA-SAM，旨在提升海洋动物和医学图像的分割性能。这些模型通过新技术和适配器的引入，显著提高了分割精度，尤其在复杂任务中表现优异，展现了强大的泛化能力和高效性。
延伸解读
SAM在海洋动物分割中的适配策略
针对海洋动物分割，Dual-SAM通过多层次的耦合提示策略和交叉连接预测范式增强特征学习，而AquaSAM则首次将SAM扩展到水下图像，通过自动标签分类和简化微调，在SUIM数据集上平均DSC提高7.13%，mIoU提高8.27%。这些方法表明，通过领域特定的适配，SAM能有效应对水下环境的挑战。
医学图像分割的模态适应与无提示方法
MA-SAM通过注入3D适配器使2D主干提取第三维信息，在CT、MRI和手术视频数据上，无提示时Dice指标超过nnU-Net 0.9%、2.6%和9.9%。H-SAM则采用两阶段层次解码实现无提示适应。这些工作展示了SAM在医学领域的灵活适应能力，尤其是处理3D数据和减少提示依赖方面。
提升分割质量与个性化应用
HQ-SAM通过深度融合特征和可学习的高质量输出Token，在保持零样本能力的同时提高掩码细节，在9个数据集中7个采用零样本转移评估。PerSAM无需训练，通过位置先验定位目标概念，并利用目标引导注意力等技术实现个性化分割，还提出了高效微调变体PerSAM-F。PA-SAM则通过提示驱动适配器优化掩码解码器，提升高质量和开放集分割性能。
Q&A
Dual-SAM 是什么？
Dual-SAM 是一种新型特征学习框架，通过多层次的耦合提示策略和交叉连接预测范式增强海洋动物图像的特征学习和分割。
AquaSAM 如何提升水下图像分割的性能？
AquaSAM 通过自动标签分类和简化微调方法，在水下图像分割任务中表现优于默认的 SAM 模型，尤其在复杂任务中提高了分割精度。
MA-SAM 的主要特点是什么？
MA-SAM 是一种模态无关的适应框架，通过注入 3D 适配器从输入数据中提取第三维信息，适用于各种医学图像分割任务。
H-SAM 是如何提高医学图像分割性能的？
H-SAM 通过两阶段层次解码程序实现有效的细化调整，从而提高医学图像分割的性能。
HQ-SAM 有什么创新之处？
HQ-SAM 在保持 SAM 原有设计的同时，赋予其精确切分任何对象的能力，通过深度融合不同特征和引入可学习的高质量输出 Token 来提高遮罩细节。
PA-SAM 如何优化分割掩模质量？
PA-SAM 通过优化面罩解码器功能，在稀疏和密集提示级别上提高了 SAM 的分割掩模质量，表现优于其他方法。
