预训练视觉语言模型用于纵向胸部 X 射线的差异视觉问题回答
内容提要
本文综述医学视觉语言模型进展，涵盖胸部X光差异问答数据集MIMIC-Diff-VQA、专家知识图模型、多模态大模型及XrayGPT、CheXOFA、UniChest等预训练框架，并介绍OmniMedVQA基准，指出通用模型在医学VQA上仍存挑战。
延伸解读
MIMIC-Diff-VQA 数据集的特点
文章介绍了 MIMIC-Diff-VQA 数据集，包含 164,324 对主要和参考图像的 700,703 个问答对。与现有医学 VQA 数据集相比，其问题针对临床专业人员的评估-诊断-干预-评估治疗程序量身定制，更贴近实际临床工作流程。这为差异视觉问答任务提供了大规模、结构化且临床相关的数据基础。
专家知识感知图模型的作用
针对 Chest-Xray 差异 VQA 任务，文章提出了一种专家知识感知图表示学习模型。该模型利用解剖结构先验、语义和空间知识等专家知识构建多关系图，以表示图像差异问答任务。这种方法将领域知识显式融入模型，有助于提升对医学图像差异的理解和推理能力。
通用模型在医学 VQA 上的表现
文章提到 OmniMedVQA 基准，涵盖 75 个医疗数据集、12 种模态和 20 多个解剖区域。研究发现现有大型视觉语言模型在解决这些医学 VQA 问题时存在困难，甚至医学专业化模型的表现劣于通用领域模型。这表明在生物医学领域开发更通用、更强大的大型视觉语言模型仍是一个挑战。
预训练框架的多样探索
文章综述了多个预训练视觉语言模型框架，如 XrayGPT、CheXOFA、UniChest 等。XrayGPT 将会话式能力引入胸部 X 光分析；CheXOFA 通过统一序列到序列模式迁移到胸部 X 光域；UniChest 设计征服与分割框架以利用多源 CXR 协作。这些工作从不同角度推进了医学视觉语言模型的发展。
Q&A
MIMIC-Diff-VQA 数据集是什么？它包含哪些内容？
MIMIC-Diff-VQA 是一个用于胸部 X 射线差异视觉问答（VQA）的新数据集，包含 164,324 对主要和参考图像的 700,703 个问答对。这些问题针对临床专业人员使用的评估-诊断-干预-评估治疗程序量身定制。
XrayGPT 是什么？它如何工作？
XrayGPT 是一种新型的会话式医疗视觉-语言模型，可以分析并回答关于胸部 X 光片的开放式问题。它通过将医疗视觉编码器 MedClip 与微调的大型语言模型 Vicuna 进行对齐，并使用简单的线性变换，从而具备出色的视觉会话能力，深入理解放射学和医学领域的知识。
OmniMedVQA 基准测试的结果如何？
OmniMedVQA 是一个来自 75 个不同医疗数据集的医疗视觉问答基准，包含 12 种模态和超过 20 个解剖区域。研究发现，现有的大型视觉语言模型在解决这些医疗视觉问答问题时存在困难，甚至医学专业化的模型表现劣于通用领域模型，这要求在生物医学领域开发更加通用和强大的大型视觉语言模型。
CheXOFA 模型有什么特点？它在 RadSum23 上的表现如何？
CheXOFA 是一个新的预训练视觉语言模型，用于胸部 X 光域。它最初在普通领域的各种多模态数据集上进行预训练，然后迁移到胸部 X 光域。通过将各种特定于域的任务统一到简单的序列到序列模式中，使模型能够有效地从领域中有限的资源中学习所需的知识和技能。通过包括集成和事实校准在内的微妙技术，该系统在 RadSum23 排行榜的隐藏测试集上取得了第一名。
UniChest 预训练框架解决了什么问题？
UniChest 是一个征服与分割的预训练框架，旨在充分利用多个源胸部 X 射线（CXR）数据集的协作优势，同时减少源异质性的负面影响。它解决了当前工作主要关注单个 CXR 数据集探索的限制，从而在更大规模的多源 CXR 数据集上发挥视觉语言预训练的潜力。
医学视觉问答（VQA）面临哪些挑战？
医学领域的视觉问答面临独特的、跨学科的挑战，结合了计算机视觉、自然语言处理和知识表示等领域。此外，现有的大型视觉语言模型在解决医疗视觉问答问题时存在困难，甚至医学专业化的模型表现劣于通用领域模型，这要求在生物医学领域开发更加通用和强大的大型视觉语言模型。
