引导医学大型视觉 - 语言模型通过视觉问答诊断病变

OmniMedVQA是一个涵盖75个医疗数据集的医学视觉问答基准，包含12种模态和20个解剖区域。

现有大型视觉语言模型在医学问答中表现不佳，医学专用模型比通用模型更容易产生幻觉。

研究提出医学视觉幻觉测试（MedVH），用于评估特定领域视觉语言模型的幻觉。

合理设计的医学提示语对提升模型性能至关重要，能够改善知识的跨领域传递和新对象的识别。

医学视觉语言模型结合计算机视觉和自然语言处理，能够分析视觉和文本式医学数据。

当前模型在临床环境中缺乏广泛测试，研究揭示了模型的局限性和提示策略的有效性。

提出了一种多步骤评估法，通过结构化交互提高大型语言模型的准确性和实用性。

LaPA模型通过设计潜在提示生成模块和多模态融合块，显著提高了医学视觉问答的性能。

MedThink方法通过模拟人类认知过程，改善医学图像报告生成任务中的模型性能，减轻虚构现象。

研究验证了视觉语言模型在生物医学图像分析任务中的零样本和少样本鲁棒性。