本文介绍了一种新的自我监督学习方法,旨在提升医学图像视觉问答(VQA)的性能。通过利用医学图像标题数据集,研究提出了多模态特征表示学习框架,显著提高了多个医学 VQA 数据集上的准确度。此外,引入了多对多局部关系建模和遮蔽对比学习策略,以更有效地利用有限的医学图像文本数据,取得了优越的分类和分割结果。
该研究提出了一种名为MaCo的多模态医学基础模型,通过遮蔽对比学习实现医学影像任务的细粒度对齐和零样本学习,并结合相关权重机制来增强表示学习能力。在六个开源X射线数据集上评估MaCo,实验结果表明其在分类、分割和零样本阶段定位方面优于七种最先进的方法,展示了其在促进各种医学图像分析任务方面的巨大潜力。
完成下面两步后,将自动完成登录并继续当前操作。