开源3D医学大模型SAT，支持497类器官，性能超越72个nnU-Nets，上交大团队发布
原文中文，约7200字，阅读约需18分钟。
📝
内容提要
上海交通大学与上海人工智能实验室联合团队发布了3D医学图像分割大模型SAT，实现对人体497种器官/病灶的通用分割。SAT通过知识注入和文本编码器实现精准编码解剖学术语，构建了多模态医疗知识图谱和最大规模的3D医学图像分割数据集SAT-DS。实验结果表明，SAT在域内和域外测试中性能接近或超过专用模型nnU-Nets和交互式模型MedSAM。SAT还可以作为大语言模型的代理工具，提供分割能力。
❓
Q&A
SAT模型的主要功能是什么？
SAT模型实现对497种器官和病灶的通用分割，支持3D医学图像的处理。
SAT模型与传统医学图像分割模型相比有什么优势？
SAT模型通过知识注入和文本提示实现更高效的通用分割，克服了传统模型的局限性，具有更好的泛化能力。
SAT-DS数据集的构建包含哪些内容？
SAT-DS数据集包含72个公开数据集，22186例3D图像和302033个分割标注，涵盖497个分割类别。
SAT模型的训练过程是怎样的？
SAT模型通过对比学习将多模态解剖学知识注入文本编码器，并设计基于文本提示的通用分割模型框架进行训练。
SAT模型在域外测试中的表现如何？
SAT模型在域外测试中表现出强大的迁移能力，超过了nnU-Nets和MedSAM的性能。
SAT模型如何与大语言模型结合使用？
SAT模型可以作为大语言模型的代理工具，通过文本提示提供分割能力，展示在真实临床数据上的应用潜力。
🏷️
