多模态癌症生存预测的原型信息瓶颈化与解缚
原文中文,约300字,阅读约需1分钟。发表于: 。多模态学习对癌症生存预测有重要影响,尤其是病理图像和基因组数据的整合。本文提出了一种新的框架,用于解决多模态数据中的冗余性问题,并在五个癌症基准数据集上进行了广泛实验,证明其在其他方法上的优越性。
本文提出了一种改进视觉-语言预训练模型的方法,通过多模态信息瓶颈(M2IB)学习将相关特征保留并压缩无关信息的潜在表示。M2IB在医疗保健领域的应用中提高了归因精确度和可解释性。与单模态归因方法不同,M2IB适用于多模态但无基准数据的情况,且不需要基准标签。以CLIP为例,本文证明了M2IB归因的有效性和优越性。