将图像转化为基因组:利用 Transformer 进行预测建模
💡
原文英文,约100词,阅读约需1分钟。
📝
内容提要
基于深度学习的研究发现,利用全切片图像预测癌症患者预后效果显著。提出了一种基于注意机制的多模态学习框架,可以建模肿瘤微环境内的基因型-表型相互作用。实验结果表明该方法优于现有最先进方法。
🎯
关键要点
- 基于深度学习的计算病理学研究显示,全切片图像在预测癌症患者预后方面效果显著。
- 现有的预后方法主要局限于组织病理学或基因组学,降低了预测准确性。
- 提出了一种弱监督、基于注意机制的多模态学习框架,称为互相引导的跨模态转换器(MGCT)。
- MGCT能够利用组织学特征和基因组特征建模肿瘤微环境内的基因型-表型相互作用。
- 实验使用了来自癌症基因组图谱的近3600个Gigapixel WSIs,结果表明MGCT优于现有最先进方法。
➡️