基于 H&E 染色图像的临床信息启发的多实例学习框架用于患者级别结直肠癌分子亚型分类的研究
内容提要
该文综述了基于深度学习的病理图像研究，聚焦结直肠癌等癌症的微卫星不稳定性检测、肿瘤分割与亚型分类，方法涵盖自监督学习、多实例学习、多模态融合及弱监督学习，在多个数据集上提升了诊断准确性与泛化能力。
延伸解读
自监督学习在MSI检测中的优势
文章指出，基于TCGA组织学图像的自监督学习（如MoCo V2）在MSI检测中相比ImageNet预训练模型取得了更高的AUC值，且泛化能力更好。这表明在病理图像领域，利用领域内数据自监督预训练可能比通用自然图像预训练更有效，为后续研究提供了特征提取的新思路。
多模态融合提升MSI预测性能
文章提到一种基于贝叶斯的多模态多层融合技术，将病理WSI与三维CT图像融合，通过特征级和决策级策略预测结直肠癌MSI，并在交叉验证中验证了性能改进。这提示多模态数据融合可能弥补单一模态信息的不足，但实际应用中需考虑数据获取和配准的复杂性。
弱监督与多实例学习减少标注依赖
文章综述了多种弱监督多实例学习框架，如DeepSMILE和双层MIL，它们无需像素级或瓦片级注释，仅使用患者级别标签即可训练，并在多中心数据集中提升了HRD和MSI分类性能。这对于标注成本高的病理图像分析具有实用价值，但模型可解释性仍需关注。
分割与检测任务的性能参考
文章提及U-Net多任务模型在CRC检测挑战中，组织分割Dice分数约0.86，肿瘤检测AUROC约0.97。这些指标可作为相关任务性能的参考基准，但需注意其基于部分标注数据集，实际临床场景中数据分布差异可能影响表现。
Q&A
基于H&E染色图像的结直肠癌分子亚型分类，目前有哪些深度学习方法？
文章综述了多种深度学习方法，包括自监督学习（如MoCo V2）、多实例学习（MIL）、多模态融合（如贝叶斯多模态多层融合）、弱监督学习（如DeepSMILE）、两阶段半监督学习、动量对比学习、跨度注意机制、双层MIL框架以及CHARM池化操作符等。这些方法用于微卫星不稳定性检测、肿瘤分割和亚型分类。
自监督学习在结直肠癌MSI检测中效果如何？
采用自监督学习（如MoCo V2）在TCGA组织学图像上训练神经网络，相比ImageNet预训练，获得了更高的AUC值，表明MoCo V2特征能更准确地检测MSI且具有较好的泛化能力。
多模态融合如何提高结直肠癌MSI预测性能？
通过基于贝叶斯的多模态多层融合技术，将病理WSI和三维CT图像在特征级和决策级进行融合，在交叉验证中验证并改进了MSI预测的性能。
DeepSMILE方法有什么特点？
DeepSMILE是一种弱标签深度学习方法，用于分析H&E染色的肿瘤细胞WSI，无需像素级或瓦片级注释，结合自监督预训练和异质性感知的深度多实例学习，用于HRD和MSI预测，在多中心乳腺和结直肠癌数据集中提高了分类性能。
在结直肠癌组织分割和肿瘤检测中，U-Net多任务模型取得了什么成果？
使用U-Net多任务模型结合颜色和统计学增强及测试时增强，在CRC检测（SemiCOL）2023挑战上，组织分割Dice分数达到0.8655（Arm 1）和0.8515（Arm 2），肿瘤检测AUROC达到0.9725（Arm 1）和0.9750（Arm 2）。
CHARM池化操作符在癌症诊断中有什么优势？
CHARM是一种新的深度学习池化操作符，旨在提高癌症诊断的准确性和可解释性，在非小细胞肺癌和淋巴结转移的亚型识别方面优于其他弱监督分类算法。
