多模态经直肠超声视频分类用于临床显著前列腺癌鉴定
内容提要
本文综述了多模态深度学习在超声癌症诊断中的进展：ProsDectNet用于前列腺癌定位，敏感度74%、特异度67%；多模态超声融合网络检测肾肿瘤；3D注意力网络分割TRUS前列腺；SlowFast等模型诊断肺病变；多模态融合及乳腺超声视频模型提升乳腺肿瘤分类，AUC达90.0%；MMT结合钼靶与超声预测乳腺癌风险，AUROC为0.943。
延伸解读
多模态超声融合的临床价值
文章汇总的多项研究显示，将B模式与CEUS等不同超声模式融合，能提升肾肿瘤检测准确率；乳腺超声视频与静态图像结合，AUC达90.0%。这表明多模态融合有助于弥补单一成像的局限，为临床诊断提供更全面的信息，但实际应用中需考虑数据配准和计算成本。
前列腺癌检测的敏感度与特异度权衡
ProsDectNet在B超中检测前列腺癌的敏感度为74%、特异度为67%，意味着约三成癌症可能漏诊，同时有三分之一非癌被误判。作为计算机辅助诊断，它可辅助活检规划，但临床使用时需结合其他指标，不能完全替代病理金标准。
小数据集下的模型优化策略
针对医学影像数据有限的问题，文章提到通过额外监督、临床预测和密集融合等方法避免过拟合，并在前列腺癌诊断中验证。这些策略有助于提升模型泛化能力，但效果依赖于数据质量和任务匹配度，迁移到其他癌种时需重新评估。
从诊断到风险预测的延伸
MMT模型结合乳腺X光与超声，检测现有癌症的AUROC为0.943，预测5年风险的AUROC为0.826，优于单模态基线。这显示多模态纵向成像不仅能诊断当前病变，还能用于风险分层，但风险预测的临床效用仍需前瞻性研究验证。
Q&A
ProsDectNet是什么？它在前列腺癌检测中的性能如何？
ProsDectNet是一种多任务深度学习方法，用于在B超成像中定位前列腺癌，通过最小化熵改善性能并减少误报。在289名患者中训练和验证，41名患者测试，敏感性74%，特异性67%。
多模态超声视频融合网络在肾肿瘤检测中有什么优势？
该网络结合B模式和CEUS模式超声视频，用于肾肿瘤检测和分类，在多中心数据集上实验表明，优于竞争方法并提高了肿瘤诊断准确率。
3D注意力网络如何提升TRUS前列腺分割性能？
该网络利用注意力模块，选择性利用不同层次的多级特征，抑制浅层非前列腺噪声，增加深层前列腺细节，在3D TRUS数据上达到满意分割性能。
SlowFast网络和SwAV方法在肺病变诊断中有什么作用？
SlowFast网络融合时空特征，SwAV增强噪声鲁棒性，用于区分良恶性肺病变，协助医生实时分析径向探针支气管内超声视频，无需高质量图像选择，在噪声下实现高准确率分类。
多模态乳腺肿瘤诊断模型的性能如何？
该模型模拟放射科医生诊断过程，学习静态图像和动态视频特征，在897套乳腺超声图像和视频数据集上，AUC达到90.0%，准确率为81.7%。
多模态变压器（MMT）在乳腺癌风险预测中的表现如何？
MMT综合乳腺X光摄影和超声波，检测现有癌症AUROC为0.943，超过单模态基线；5年风险预测AUROC为0.826，胜过以往基于乳腺X光摄影的风险模型。
