OmniMedVQA：医学 LVLM 的新大规模综合评估基准
内容提要
该文综述医学视觉问答（Med-VQA）研究：提出知识驱动评估方法KNVQA，解决物体虚构与事实准确性问题；开发基准系统BESTMVQA及开源工具MultiMedEval，支持多数据集多任务评估；提出多任务自监督框架MISS、参数高效微调框架及中文模型Qilin-Med-VL，并构建ChiMed-VL数据集；另有研究增强SLAKE数据集，以简单架构达79.55%准确率。
延伸解读
评估基准的多样化与工具化
文章介绍了多个医学视觉问答评估基准和工具，如BESTMVQA、MultiMedEval和KNVQA。BESTMVQA支持自动构建数据集和模型评估，MultiMedEval提供开源工具包，覆盖23个数据集、11个领域和6个任务，KNVQA则针对物体虚构和事实准确性进行知识驱动评估。这些工作共同推动了医学VQA评估的标准化和可重复性。
模型性能的参考与比较
文章提及了多个模型在医学VQA任务上的性能表现。例如，一个模型在SLAKE增强数据集上达到79.55%的top-1准确率；另一个模型在VQA-Med 2019测试集上达到60%的准确率；还有一个参数高效微调框架在封闭问题上达到81.9%的准确率，并声称超过GPT-4v模型26%。这些数据为读者提供了不同方法性能的参考。
中文医学VQA的进展与资源
文章特别提到了中文医学视觉语言模型Qilin-Med-VL和数据集ChiMed-VL。Qilin-Med-VL通过两阶段课程训练，增强了生成医学字幕和回答复杂医学查询的能力；ChiMed-VL包含超过1M个图文对，可用于医学数据的详细解释。这些工作填补了中文医学VQA资源的空白，促进了多语言医学AI的发展。
Q&A
医学视觉问答（Med-VQA）是什么？
医学视觉问答（Med-VQA）是医疗行业中非常重要的任务之一，通过医学图像回答自然语言问题。
KNVQA评估方法主要解决什么问题？
KNVQA评估方法主要解决大型视觉-语言模型在现实场景中存在的物体虚构和事实准确性两个关键问题。
MultiMedEval工具包有什么特点？
MultiMedEval是一个开源工具包，旨在公平且可重复评估大型医疗视觉语言模型（VLM），通过23个数据集、11个医学领域的6个多模态任务来综合评估模型的性能，并通过广泛采纳的任务和性能指标确保模型的整体泛化能力，在github上提供了一个简单的界面和设置过程，可以仅仅通过几行代码来评估任何VLM。
MISS框架是什么？
MISS是一种基于多任务自监督学习的大规模医学VQA任务框架，将医学VQA作为生成任务，并通过多任务学习对齐图像-文本特征；此外，通过使用大语言模型（LLMs），在单模态图像数据集上扩展单一模态图像特征空间，使得传统医学视觉领域任务数据能够应用于VLP，实验证明该方法在较少的多模态数据集上取得了优异结果并展示了生成式VQA模型的优势。
Qilin-Med-VL是什么？
Qilin-Med-VL是首个中文大型视觉语言模型，旨在集成对图文数据的分析，通过预训练的Vision Transformer和基础语言模型的两阶段课程训练过程增强了生成医学字幕和回答复杂医学查询的能力，同时发布了由超过1M个图文对组成的ChiMed-VL数据集，可用于对医学数据进行详细和全面的解释。
在医学VQA中，参数高效微调框架取得了什么成果？
该框架专门用于调整针对Med-VQA应用的多模式大型语言模型，并通过公共基准数据集进行了实证验证，结果显示模型在封闭问题上的整体准确率达到了81.9％，并且在准确率上超过GPT-4v模型26％的显著优势。
