基于文本提示的3D医疗图像通用分割大模型
内容提要
上海交通大学与上海人工智能实验室联合发布了SAT项目，利用文本提示在3D医学图像上实现了对497种器官/病灶的通用分割。研究团队构建了多模态医疗知识图谱和最大规模的3D医学图像分割数据集SAT-DS。通过SAT-DS，研究团队验证了SAT在分割性能、泛化能力和精准度等方面的优势。SAT还可作为大语言模型的代理工具，实现在临床数据上的定位和分割能力。
延伸解读
文本提示如何提升分割精准度
与MedSAM依赖边界框提示不同，SAT使用解剖学术语作为文本提示。在心肌分割案例中，边界框难以区分心肌与心室，导致MedSAM错误合并两者；而文本提示能明确指定“心肌”，实现精准区分。这表明文本提示在复杂空间关系中更具优势，能减少歧义，提升分割准确性。
知识注入对长尾类别的影响
医学图像分割数据常呈长尾分布，尾部类别标注稀少。消融实验显示，SAT通过注入多模态解剖学知识，在尾部类别上的性能提升比头部类别更明显。相比通用文本编码器BERT-base和医疗编码器MedCPT，SAT的文本编码器在所有类别上表现最佳，尤其改善了长尾分割效果。
模型泛化与迁移能力
在域外测试中，SAT-Nano在10个数据集20个指标中的19项上超越nnU-Nets，展现出更强的跨中心迁移能力。此外，SAT-Pro经过微调后，在所有区域上性能均有提升，总体超过nnU-Nets。这表明SAT作为预训练基础模型，能通过微调适应特定任务，并保持优越的泛化性。
与大语言模型结合的临床潜力
SAT可作为大语言模型的代理工具，将文本指令转化为分割操作。研究团队使用GPT-4从临床报告中提取解剖结构，并调用SAT进行零样本分割，在真实临床图像上成功定位和分割目标。这展示了无需微调即可实现语言驱动分割的潜力，为自动化临床工作流提供了新思路。
Q&A
SAT项目的主要目标是什么？
SAT项目旨在利用文本提示实现对497种器官和病灶的3D医学图像通用分割。
SAT与传统医学图像分割模型相比有什么优势？
SAT在分割性能、泛化能力和精准度方面优于传统模型nnU-Nets和交互式模型MedSAM。
SAT项目是如何构建其数据集的？
SAT项目构建了最大规模的3D医学图像分割数据集SAT-DS，汇集了72个公开数据集，包含22K+图像和302K+分割标注。
SAT如何处理长尾类别的分割任务？
SAT在长尾类别的分割任务上表现优异，特别是在尾部类上取得了显著提升。
SAT项目的开源情况如何？
SAT项目的所有数据和代码均已开源，便于研究和应用。
SAT如何与大语言模型结合使用？
SAT可以作为大语言模型的代理工具，通过文本提示实现临床数据的定位和分割能力。
