基于基因组引导的表征学习用于病理学全癌肿瘤微环境亚型预测
内容提要
该研究应用多实例学习和特征提取方法，探索乳腺癌肿瘤及免疫表型，开发计算病理学标志物。提出基于深度学习的多模态学习框架，结合组织学和基因组特征，提高癌症预后预测的准确性，并验证其在多种癌症类型中的优越性能。
延伸解读
多模态融合：弥补单一数据源的不足
文章指出，现有预后方法多局限于组织病理学或基因组学，这降低了准确预测患者预后的潜力。为此，研究提出弱监督、基于注意机制的多模态学习框架MGCT，利用组织学特征和基因组特征建模肿瘤微环境内的基因型-表型相互作用。在TCGA五种癌症类型的近3600个全切片图像上，MGCT一致优于现有最先进方法，表明多模态融合能有效提升预后预测性能。
模型泛化与数据效用扩展
PathOmics模型通过无监督预训练捕捉全幅图像与基因组数据间的固有互动，并在预训练的多模态知识聚合后，通过任务特定微调扩大适用于多模态和单模态数据（如仅图像或基因组）的数据效用范围。验证结果表明，该方法在TCGA结直肠癌队列上具有竞争力并胜过现有研究，说明该框架能灵活适应不同数据模态，为临床场景中数据不完整的情况提供了潜在解决方案。
可解释性与预测区域识别
基于非监督聚类的多实例学习方法在CRC、LUAD和HNSCC三种癌症中，不仅能更好地预测基因突变，还能识别预测性图像块并排除缺乏预测信息的图像块。研究进一步证明，WSI中的肿瘤区域不一定是最好的预测区域，这挑战了传统认知，提示在开发计算病理学标志物时，应关注肿瘤微环境中其他可能包含预测信息的区域，以提高模型的可解释性和准确性。
Q&A
该研究如何提高癌症预后预测的准确性？
该研究提出了一种基于深度学习的多模态学习框架，结合组织学和基因组特征，以提高癌症预后预测的准确性。
研究中使用了哪些数据进行实验？
研究使用了来自癌症基因组图谱（TCGA）的近3600个Gigapixel WSIs进行实验。
多模态变压器模型的主要应用是什么？
多模态变压器模型主要用于结直肠癌的存活预测，结合病理学和基因组学的洞察力。
该研究提出的病理基因异质图模型有什么优势？
病理基因异质图模型在多个癌症数据集上表现出优越的生存预测能力，并实现了特征提取和可解释性展示。
研究中提到的非监督聚类方法有什么作用？
非监督聚类方法能够更好地预测基因突变，并识别预测性图像块，改善基因突变的预测效果。
该研究的核心创新点是什么？
核心创新点是提出了一种弱监督、基于注意机制的多模态学习框架，能够建模肿瘤微环境内的基因型-表型相互作用。
