基于文本提示的3D医疗图像通用分割大模型
💡
原文中文，约7300字，阅读约需18分钟。
📝
内容提要
上海交通大学与上海人工智能实验室联合发布了SAT项目，利用文本提示在3D医学图像上实现了对497种器官/病灶的通用分割。研究团队构建了多模态医疗知识图谱和最大规模的3D医学图像分割数据集SAT-DS。通过SAT-DS，研究团队验证了SAT在分割性能、泛化能力和精准度等方面的优势。SAT还可作为大语言模型的代理工具，实现在临床数据上的定位和分割能力。
🎯
关键要点
- 上海交通大学与上海人工智能实验室联合发布SAT项目，实现对497种器官/病灶的3D医学图像通用分割。
- SAT项目利用文本提示进行分割，所有数据和代码均已开源。
- 传统医学图像分割模型依赖于专用模型，应用范围有限，无法满足多样化需求。
- SAT项目构建了包含6K+人体解剖学概念的多模态医疗知识图谱和最大规模的3D医学图像分割数据集SAT-DS。
- SAT在分割性能、泛化能力和精准度方面优于传统模型nnU-Nets和交互式模型MedSAM。
- SAT可以作为大语言模型的代理工具，实现在临床数据上的定位和分割能力。
- 研究团队通过对比实验验证了SAT的性能，SAT-Pro和SAT-Nano在多个区域的表现接近或超越nnU-Nets。
- SAT的构建包括知识注入和基于文本提示的分割模型框架。
- 消融实验表明，知识注入和选择合适的视觉骨干网络对分割性能有显著影响。
- SAT能够处理长尾类别的分割任务，特别是在尾部类上表现优异。
- SAT与大语言模型结合，能够在真实临床图像上实现有效的分割。
❓
延伸问答
SAT项目的主要目标是什么？
SAT项目旨在利用文本提示实现对497种器官和病灶的3D医学图像通用分割。
SAT与传统医学图像分割模型相比有什么优势？
SAT在分割性能、泛化能力和精准度方面优于传统模型nnU-Nets和交互式模型MedSAM。
SAT项目是如何构建其数据集的？
SAT项目构建了最大规模的3D医学图像分割数据集SAT-DS，汇集了72个公开数据集，包含22K+图像和302K+分割标注。
SAT如何处理长尾类别的分割任务？
SAT在长尾类别的分割任务上表现优异，特别是在尾部类上取得了显著提升。
SAT项目的开源情况如何？
SAT项目的所有数据和代码均已开源，便于研究和应用。
SAT如何与大语言模型结合使用？
SAT可以作为大语言模型的代理工具，通过文本提示实现临床数据的定位和分割能力。
➡️
