卷积与 LoRA 相遇：一种参数高效微调的分割模型
内容提要
本文综述了SAM在医学等领域的微调与应用：少量样本即可适配脑肿瘤和多器官分割；手术场景零样本泛化有限，需LoRA微调；还可结合检测器、改进特征与少样本分割，并用于SAR土地分类，兼顾性能与算力。
延伸解读
医学影像微调：小样本与卷积增强
文章指出，SAM在医学领域即使只有少量标记数据也能有效对齐，并在脑肿瘤分割（BraTS）和多器官CT分割（Synapse）实验中验证了可行性。此外，有研究利用卷积神经网络与广义模型进行微调，在开放数据集上取得有竞争力的成果。这表明，在医学场景中，结合卷积网络和少量样本微调是提升SAM实用性的有效路径。
手术场景的局限与LoRA微调
在机器人手术领域，SAM使用边界框提示时零样本泛化能力卓越，但在点提示和未提示设置下，对仪器的整体分割困难重重，且在复杂手术场景中无法识别仪器，易受数据破坏影响。为此，提出的LoRA调整方法结合SAM形成SurgicalSAM，无需提示即可对各类仪器进行遮罩预测，说明手术任务仍需专业领域微调。
与其他视觉任务的集成创新
SAM还被集成到开放词汇目标检测中，通过SideFormer模块和开放区域建议网络提升检测任意对象和开放词汇识别的性能，Sambor在COCO和LVIS等基准上展现卓越零样本性能。同时，SAMFeat引入SAM作为教师模型，利用像素级对齐和语义信息改进本地特征描述与检测。这些工作拓展了SAM在检测和特征学习中的应用。
效率优化与SAR领域应用
针对高分辨率输入的计算代价，有研究使用基于CNN检测器结合实例分割的替代方案，仅用SAM作者发布的1/50数据集，便在50倍运行时速下实现与SAM基本相当的性能。在SAR土地覆盖分类中，CWSAM通过轻量级适配器进行参数高效微调，采用类别掩码解码器实现语义分割，相比传统算法不仅性能提升，计算资源消耗也更优。
Q&A
SAM在医学图像分割中需要多少标注数据才能有效微调？
即使只有少量标记数据，SAM也能有效对齐医学领域，例如在脑肿瘤分割（BraTS）和多器官CT分割（Synapse）实验中验证了可行性。
SurgicalSAM是如何改进SAM在手术场景中的表现的？
SurgicalSAM结合了Low-rank Adaptation（LoRA）调整方法，在不使用提示的情况下可以对各个类别的仪器进行遮罩预测，解决了SAM在点提示和未提示设置下分割困难的问题。
SAM在机器人手术领域的零样本泛化能力如何？
SAM在使用边界框提示时表现出卓越的零样本泛化能力，但在点提示和未提示设置下，对仪器的整体分割困难重重，且在复杂手术场景中无法识别仪器且容易受到各种数据破坏形式的影响。
SAM如何与开放词汇目标检测器集成？
通过引入SideFormer模块和开放区域建议网络（Open-set RPN）等创新方法，将SAM与开放词汇目标检测器无缝集成，提升SAM在检测任意对象和开放词汇识别方面的性能，在COCO和LVIS等基准测试中展现出卓越的零样本性能。
CWSAM在SAR图像土地覆盖分类中有什么优势？
CWSAM通过轻量级的适配器进行参数高效微调，采用类别掩码解码器实现语义分割任务，在性能上优于传统语义分割算法，且计算资源消耗更少。
如何降低SAM处理高分辨率输入的计算成本？
可以使用基于CNN检测器结合实例分割的替代方案，仅使用SAM作者发布的1/50数据集，便可在50倍的运行时速下实现与SAM方法基本相当的性能。
