💡
原文中文，约7200字，阅读约需18分钟。
📝
内容提要
上海交通大学与上海人工智能实验室联合团队发布了3D医学图像分割大模型SAT，实现对人体497种器官/病灶的通用分割。SAT通过知识注入和文本编码器实现精准编码解剖学术语，构建了多模态医疗知识图谱和最大规模的3D医学图像分割数据集SAT-DS。实验结果表明，SAT在域内和域外测试中性能接近或超过专用模型nnU-Nets和交互式模型MedSAM。SAT还可以作为大语言模型的代理工具，提供分割能力。
🎯
关键要点
- 上海交通大学与上海人工智能实验室联合发布3D医学图像分割大模型SAT，实现对497种器官/病灶的通用分割。
- SAT通过知识注入和文本编码器实现精准编码解剖学术语，构建了多模态医疗知识图谱和最大规模的3D医学图像分割数据集SAT-DS。
- SAT在域内和域外测试中性能接近或超过专用模型nnU-Nets和交互式模型MedSAM。
- SAT可以作为大语言模型的代理工具，提供分割能力。
- 研究背景中指出传统医学图像分割模型的局限性，强调构建通用医疗人工智能工具的必要性。
- SAT的三大贡献包括：首次将解剖学知识注入文本编码器、构建多模态医疗知识图谱、训练两款不同大小的模型SAT-Pro和SAT-Nano。
- 数据构建方面，SAT-DS包含72个公开数据集，22186例3D图像和302033个分割标注，涵盖497个分割类别。
- 模型架构中，SAT通过对比学习将多模态解剖学知识注入文本编码器，设计了基于文本提示的通用分割模型框架。
- 模型测评显示SAT在域内和域外测试中均表现优异，尤其在迁移能力上超越nnU-Nets。
- 与MedSAM的对比实验表明，SAT在大多数区域上表现更好，尤其在复杂空间关系的分割中更具优势。
- 消融实验探讨了视觉骨干网络和文本编码器对分割性能的影响，结果显示知识注入对长尾类别的分割有明显帮助。
- SAT可以与大语言模型结合，展示了在真实临床数据上的应用潜力。
- SAT的研究价值体现在高效灵活的通用分割、作为基础模型的能力、基于文本提示的准确分割、与大语言模型的结合等方面。
➡️
