开源3D医学大模型SAT，支持497类器官，性能超越72个nnU-Nets，上交大团队发布
内容提要
上海交通大学与上海人工智能实验室联合团队发布了3D医学图像分割大模型SAT，实现对人体497种器官/病灶的通用分割。SAT通过知识注入和文本编码器实现精准编码解剖学术语，构建了多模态医疗知识图谱和最大规模的3D医学图像分割数据集SAT-DS。实验结果表明，SAT在域内和域外测试中性能接近或超过专用模型nnU-Nets和交互式模型MedSAM。SAT还可以作为大语言模型的代理工具，提供分割能力。
延伸解读
通用分割模型的效率优势
SAT-Pro仅用一个模型就能完成72个nnU-Nets专用模型的任务，且参数量远小于后者集合（447M vs 约2.2B）。这意味着在临床部署中，医院无需为每个分割任务单独配置和训练模型，可以显著降低计算资源和维护成本。同时，SAT在域外数据上表现出更强的泛化能力，更适合跨中心迁移等实际需求。
文本提示与Box提示的差异
与基于Box提示的MedSAM相比，SAT使用文本提示（如器官名称）进行分割，在复杂空间关系（如心肌与心室）中更精准，且对提示偏移不敏感。MedSAM的性能高度依赖Box的质量，而SAT的文本提示更符合临床工作流程，能节省医生勾画Box的时间，并支持自动化批量处理。
知识注入对长尾类别的影响
消融实验显示，将多模态解剖学知识注入文本编码器后，SAT在长尾类别（标注稀少的类别）上的分割性能提升尤为明显。在SAT-DS-Nano中，尾部类（占类别数34.97%）仅占标注总数的3.25%，知识注入能有效缓解数据不平衡问题，这对构建通用分割模型至关重要。
与大语言模型结合的潜力
SAT可作为大语言模型的代理工具，通过文本提示提供分割能力。在真实临床数据上，GPT-4能从报告中提取关键解剖结构并调用SAT进行zero-shot分割，无需微调即可获得良好结果。这展示了语言模型与分割模型协同工作的可能性，为通用医疗人工智能的发展提供了新思路。
Q&A
SAT模型的主要功能是什么？
SAT模型实现对497种器官和病灶的通用分割，支持3D医学图像的处理。
SAT模型与传统医学图像分割模型相比有什么优势？
SAT模型通过知识注入和文本提示实现更高效的通用分割，克服了传统模型的局限性，具有更好的泛化能力。
SAT-DS数据集的构建包含哪些内容？
SAT-DS数据集包含72个公开数据集，22186例3D图像和302033个分割标注，涵盖497个分割类别。
SAT模型的训练过程是怎样的？
SAT模型通过对比学习将多模态解剖学知识注入文本编码器，并设计基于文本提示的通用分割模型框架进行训练。
SAT模型在域外测试中的表现如何？
SAT模型在域外测试中表现出强大的迁移能力，超过了nnU-Nets和MedSAM的性能。
SAT模型如何与大语言模型结合使用？
SAT模型可以作为大语言模型的代理工具，通过文本提示提供分割能力，展示在真实临床数据上的应用潜力。
