关于组织学图像中核实例分割的区段任何模型的普适性
内容提要
多项研究评估了SAM在医学图像分割中的表现：在组织病理学、CT及MRI数据上，SAM零样本分割对大型连通对象效果较好，但密集实例和结构性目标表现较弱，整体不及U-Net等专用模型。微调可明显提升性能。有研究提出改进SAM解码器或基于点提示的框架，在细胞核实例分割等任务上达到最新水平。
延伸解读
SAM在医学图像分割中的表现特点
文章汇总的多项评估显示，SAM在医学图像分割中呈现明显的任务依赖性：对大型连通对象（如CT中的器官）零样本分割效果较好，但对密集实例（如细胞核）和结构性目标表现较弱，整体精度常不及U-Net等专用模型。不过，SAM在推理速度和泛化能力上具有优势，这为其作为交互式分割工具的基础提供了可能。
微调对SAM性能的改善作用
针对SAM在医学图像上的不足，文章指出微调是有效的改进途径。例如，在数字病理学中，对下游任务图像进行少量微调即可提升密集对象分割性能；在MRI分割中，基于自然图像训练的基础模型整体效果有限，但微调后可在特定切片上表现良好。这表明微调能帮助SAM适应医学领域的复杂挑战。
针对组织学图像的分割框架创新
为提升SAM在细胞核实例分割等任务上的表现，有研究提出了基于点提示的框架，包括点提示器和微调的SAM，通过学习为每个细胞核生成唯一提示并输出对应掩模，在三个挑战性基准上达到最新性能。另一项工作则修改SAM解码器以增强局部细化能力，在交互式组织学图像分割中验证有效。这些改进在保持SAM核心优势的同时提升了精度。
Q&A
SAM在医学图像分割中的整体表现如何？
SAM在医学图像分割中表现不一：对大型连通对象分割效果较好，但对密集实例和结构性目标表现较弱，整体不及U-Net等专用模型。其推理时间和泛化能力相对较强，但分割性能相对较弱。
SAM在组织病理学图像上的零样本分割效果怎么样？
SAM在组织病理学图像上的零样本分割对大型连通对象效果显著，但对密集实例对象（如细胞核）的分割性能不尽如人意。
如何提升SAM在医学图像分割中的性能？
可以通过微调SAM来提升性能，少量微调即可在密集对象分割等方面带来明显改进。此外，修改SAM解码器或采用基于点提示的框架也能有效提升交互式组织学图像分割和细胞核实例分割的性能。
SAM在CT和MRI数据上的零样本分割表现有何差异？
SAM可以很好地适应CT数据，有望成为半自动分割工具的推手。但在MRI数据上，基于自然图像训练的基础模型整体上不够有效，仅在少数特定切片上表现良好。
有哪些针对细胞核实例分割的SAM改进方法？
有研究提出了一种基于提示的框架，包括一个点提示器和一个用于自动核实例分割的Segment Anything Model。通过学习为每个细胞核生成唯一的点提示，并微调SAM以输出相应的细胞核掩模，该方法在三个基准测试上取得了最新性能。
SAM在医学图像分割中面临哪些主要挑战？
SAM在医学图像分割中面临的主要挑战包括：对密集实例和结构性目标分割性能较弱，整体不及专用模型；在MRI等模态上效果不佳；需要结合手动标注才能取得更好表现；性能受任务和数据集影响较大，需要进一步研究适应医学图像领域。
