MISS：一个用于医学视觉问答的生成预训练和微调方法
内容提要
该文综述医学视觉问答（Med-VQA）研究：采用遮蔽图像/语言建模与图文对比学习的自监督预训练，结合编码器-解码器与自注意力实现跨模态表示；构建PMC-VQA大规模数据集（14.9万图、22.7万问答对）；用领域特定对比学习预训练缓解数据不足；结合多模态提示检索提升精度达30%；提出元学习量化方法；开发BESTMVQA基准评估系统；并设计上下文感知及手术问答系统。
延伸解读
自监督预训练如何缓解医学数据稀缺
医学视觉问答标注成本高、数据规模有限，文章中的多项工作都围绕这一痛点展开。M2I2方法利用医学图像字幕数据集进行遮蔽图像/语言建模与图文对比学习，先学习单模态和多模态表示，再迁移到下游VQA任务；另一项工作则采用领域特定对比学习预训练，在VQA-Med 2019测试集上达到60%准确率。这说明在标注数据不足时，借助未标注或弱标注的医学图文数据做预训练，是提升下游任务表现的可行路径。
PMC-VQA与BESTMVQA：数据与评估基础设施
文章提到构建了PMC-VQA大规模数据集，包含14.9万张图片和22.7万个问答对，并进行了预处理和微调。同时，BESTMVQA基准评估系统支持从临床数据自动构建Med-VQA数据集，并在统一实验环境中比较多种先进模型。这两项工作分别从数据规模和评估标准化入手，有助于减少不同研究之间因数据集和实验设置不一致而难以直接比较的问题，为后续方法验证提供更一致的基础。
检索增强与元学习：应对数据限制的两种思路
在数据有限的情况下，文章介绍了两种不同的技术路线。一是结合多模态提示检索与生成模型，在医学VQA任务中比非检索方法最高提升30%精度，说明引入外部或检索到的相关信息可以补充模型知识。二是提出多元元模型量化方法，无需外部数据即可训练元模型，并在两个公共医学VQA数据集上取得更准确的结果。前者侧重利用检索信息，后者侧重在有限数据下优化学习方式，读者可关注二者适用场景的差异。
从通用VQA走向上下文与手术场景
文章不仅讨论通用医学视觉问答，还延伸到更具体的应用场景。一项工作提出考虑上下文的视觉问答模型，能够回答关于图片区域的问题，并在三个数据集上优于现有方法；另一项工作设计基于医学图像的手术问答系统，使用视觉和文本转换模型，并在两个Surgical-VQA数据集上验证，结合分类和基于句子的答案回答手术程序问题。这表明Med-VQA的研究正从静态图像问答向需要区域理解和领域流程知识的场景扩展。
Q&A
医学视觉问答（Med-VQA）主要解决什么问题？
医学视觉问答（Med-VQA）是医疗行业中的重要任务，旨在通过医学图像回答自然语言问题。
MISS方法在预训练中使用了哪些自监督学习技术？
MISS方法采用遮蔽图像建模、遮蔽语言建模、图像文本匹配和图像文本对齐的对比学习等自监督技术，在医学图像字幕数据集上进行预训练，并微调下游医学VQA任务。
PMC-VQA数据集包含多少图像和问答对？
PMC-VQA数据集包含149k张图片和227k个问答对。
如何解决医学视觉问答中数据集规模小的问题？
通过使用领域特定的预训练策略，包括一种新颖的对比学习预训练方法，可以缓解数据集规模小的问题，该模型在VQA-Med 2019测试集上达到了60%的准确率。
多模态提示检索方法在医学VQA中能提升多少精度？
结合多模态提示检索和生成模型的方法，在医学领域的视觉问答任务中比非检索方法提高高达30%的精度。
BESTMVQA系统的主要功能是什么？
BESTMVQA是一个用于医学视觉问答的基准评估系统，用户可以自动构建Med-VQA数据集，并选择多种先进模型进行综合实证研究，克服了现有工作的局限性。
