一种通用的基于文本提示的医学图像分割模型
💡
原文中文,约700字,阅读约需2分钟。
📝
内容提要
本研究提出了一个名为SAT的模型,可在医疗场景中对任意物体进行分割。通过整合多个知识源构建多模态医学知识树,并使用超过11,000个三维医学图像扫描的大规模分割数据集进行训练。提出了通用的分割模型,使用医学术语进行提示,并提出了知识增强的表示学习框架和有效训练策略。通过对31个不同的分割数据集进行评估,使用SAT-Nano模型得到了362个类别的结果,性能相当于36个专家nnUNets模型。研究将公布代码和模型,并提供SAT-Ultra模型在更多数据集上进行训练。
🎯
关键要点
- 本研究提出了一个名为SAT的模型,用于医疗场景中的任意物体分割。
- 整合多个知识源构建多模态医学知识树,使用超过11,000个三维医学图像扫描进行训练。
- 提出通用的分割模型,通过医学术语进行文本提示,结合知识增强的表示学习框架和有效训练策略。
- 使用SAT-Nano模型对31个不同的分割数据集进行评估,得到362个类别的结果,性能与36个专家nnUNets模型相当。
- 研究将公布代码和模型,并计划提供SAT-Ultra模型在更多数据集上的训练。
➡️