SAM 2最新应用落地！牛津大学团队发布Medical SAM 2，刷新医学图像分割SOTA榜
内容提要
Meta公司发布了SAM 2，可以实时分割静态图像和动态视频内容。牛津大学团队开发了MedSAM-2，基于SAM 2的医学图像分割模型，具有出色的性能和泛化能力。SAM在医学图像分割领域具有潜力，其他团队也在探索其应用。
延伸解读
医学图像分割的挑战与MedSAM-2的应对
医学图像分割长期面临模型泛化难和数据差异大的问题：针对特定器官训练的模型难以适应其他目标，且医学数据常为3D格式，与为2D图像设计的标准深度学习框架不兼容。MedSAM-2通过将医学图像视作视频，利用SAM 2的时序处理能力，在3D图像中借助切片间的关联进行分割，在2D图像中则采用置信度记忆库和加权拾取策略，从而提升泛化能力，并解锁单次提示分割功能。
MedSAM-2的性能表现与泛化能力
在BTCV多器官分割数据集上，MedSAM-2取得了88.57%的Dice分数，优于nnUNet、TransUNet等先进模型，且比之前领先的交互式模型Med-SA高出2.78%。在2D医学图像任务中，MedSAM-2在视杯、脑肿瘤、甲状腺结节等分割上均优于任务定制方法，改进幅度分别为2.0%、1.6%和2.8%。在单次提示分割评估中，MedSAM-2在10个任务中仅1个落后，展示出稳健的泛化能力。
MedSAM-2的技术创新：单次提示分割
MedSAM-2的核心创新在于将医学图像处理视作视频，从而解锁单次提示分割能力。用户只需为一种新对象提供一个提示，模型即可自动完成后续图像中同类对象的分割，无需额外输入。对于3D图像，利用相邻切片的时间关联和记忆注意力机制进行连续分割；对于2D图像，则将包含相同器官的图像分组为“医学图像流”，采用置信度优先的存储区和加权选择策略，实现无时间关联下的自动分割。
SAM在医学领域的生态与影响
MedSAM-2是SAM 2在医学领域的重要落地，但并非孤例。深圳大学倪东教授团队联合牛津大学等构建了超大规模医学影像分割数据集COSMOS 1050K，包含18种影像模态和1050K 2D图像，用于全面评估SAM。复旦大学和上海交通大学团队也发表了SAM在医学图像分割中的综述。这些工作共同推动SAM在医学领域的应用，有望提升分割效率和精准度，减轻临床工作量。
Q&A
SAM 2的主要功能是什么？
SAM 2能够实时分割静态图像和动态视频内容。
MedSAM-2与传统医学图像分割模型相比有什么优势？
MedSAM-2在多器官分割任务上实现了88.57%的Dice分数，表现优于其他先进模型，且具有卓越的泛化能力。
医学图像分割的定义是什么？
医学图像分割是将医学图像中具有特殊含义的部分分割出来，为临床诊断提供依据。
MedSAM-2是如何提高医学图像分割效率的？
MedSAM-2将医学图像视作视频，解锁了单次提示分割的能力，用户只需提供一个提示即可自动完成后续分割。
MedSAM-2在不同医学图像分割任务中的表现如何？
MedSAM-2在不同任务中均优于其他方法，展示了其卓越的泛化能力。
SAM及其衍生模型在医学图像分割领域的潜力如何？
SAM及其衍生模型在医学图像分割领域展现了巨大的潜力，能够提升分割效率和精准度。
