本文提出了一种改进视觉-语言预训练模型的方法,通过多模态信息瓶颈(M2IB)学习将相关特征保留并压缩无关信息的潜在表示。M2IB在医疗保健领域的应用中提高了归因精确度和可解释性。与单模态归因方法不同,M2IB适用于多模态但无基准数据的情况,且不需要基准标签。以CLIP为例,本文证明了M2IB归因的有效性和优越性。
本文提出了一种改进视觉-语言预训练模型的方法,通过多模态信息瓶颈(M2IB)学习将相关特征保留并压缩无关信息的潜在表示。M2IB提高了视觉-语言预训练模型的归因精确度和可解释性。
完成下面两步后,将自动完成登录并继续当前操作。