将图像转化为基因组:利用 Transformer 进行预测建模

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

基于深度学习的研究发现,利用全切片图像预测癌症患者预后效果显著。提出了一种基于注意机制的多模态学习框架,可以建模肿瘤微环境内的基因型-表型相互作用。实验结果表明该方法优于现有最先进方法。

🎯

关键要点

  • 基于深度学习的计算病理学研究显示,全切片图像在预测癌症患者预后方面效果显著。
  • 现有的预后方法主要局限于组织病理学或基因组学,降低了预测准确性。
  • 提出了一种弱监督、基于注意机制的多模态学习框架,称为互相引导的跨模态转换器(MGCT)。
  • MGCT能够利用组织学特征和基因组特征建模肿瘤微环境内的基因型-表型相互作用。
  • 实验使用了来自癌症基因组图谱的近3600个Gigapixel WSIs,结果表明MGCT优于现有最先进方法。
➡️

继续阅读