上海交通大学与上海人工智能实验室联合发布了SAT项目,利用文本提示在3D医学图像上实现了对497种器官/病灶的通用分割。研究团队构建了多模态医疗知识图谱和最大规模的3D医学图像分割数据集SAT-DS。通过SAT-DS,研究团队验证了SAT在分割性能、泛化能力和精准度等方面的优势。SAT还可作为大语言模型的代理工具,实现在临床数据上的定位和分割能力。
上海交通大学与上海人工智能实验室联合团队发布了3D医学图像分割大模型SAT,实现对人体497种器官/病灶的通用分割。SAT通过知识注入和文本编码器实现精准编码解剖学术语,构建了多模态医疗知识图谱和最大规模的3D医学图像分割数据集SAT-DS。实验结果表明,SAT在域内和域外测试中性能接近或超过专用模型nnU-Nets和交互式模型MedSAM。SAT还可以作为大语言模型的代理工具,提供分割能力。
该文综述通用分割模型进展,包括UniSeg、TarViS、FreeSeg、UniVTG、UniNet等,通过可学习提示、统一查询和联合训练,实现多任务、多模态医学图像与视频分割,无需任务特定重训,在多项基准上达到最优,并提升零样本与泛化能力。
完成下面两步后,将自动完成登录并继续当前操作。