SaLIP 与 SAM、CLIP 级联用于零样本医学图像分割的测试时间自适应
原文中文,约300字,阅读约需1分钟。发表于: 。该研究论文提出了一种将 Segment Anything Model(SAM)和 CLIP 集成为医学图像分割的统一框架 SaLIP 的方法,展示了在零样本分割中显著提高的 DICE 得分,在脑部(63.46%)、肺部(50.11%)和胎头(30.82%)等不同分割任务中表现出显著改进。
该论文研究了将CLIP和SAM集成到统一框架中的深入研究,提出了基于SAM的Open-Vocabulary SAM模型,实现了交互分割和识别功能。通过知识转移模块SAM2CLIP和CLIP2SAM进行知识转移,优于简单组合SAM和CLIP的基准线。方法通过图像分类数据训练,可以分割和识别约22,000个类别。