SaLIP 与 SAM、CLIP 级联用于零样本医学图像分割的测试时间自适应

BriefGPT - AI 论文速递 · 2024-04-09T00:00:00Z

该论文研究了将CLIP和SAM集成到统一框架中的深入研究，提出了基于SAM的Open-Vocabulary SAM模型，实现了交互分割和识别功能。通过知识转移模块SAM2CLIP和CLIP2SAM进行知识转移，优于简单组合SAM和CLIP的基准线。方法通过图像分类数据训练，可以分割和识别约22,000个类别。