OpenMEDLab：一个面向医学领域的开源多模态基础模型平台
内容提要
本文综述医学基础模型进展，包括Med-PaLM M在14项任务上超越专家、GPT-4V诊断能力有限、BiomedGPT跨15种模态表现优异、RadFM基于1600万扫描构建，以及电子病历模型评估框架的提出。
延伸解读
医学基础模型的能力边界
文章指出，Med-PaLM M在14项任务上超越专家模型，BiomedGPT跨15种模态表现优异，但GPT-4V在疾病诊断和生成综合报告方面仍面临重大挑战。这表明当前模型在图像模态识别等感知任务上较强，但在需要综合推理和临床决策的任务上仍有明显短板，读者需区分不同模型的能力范围。
数据规模与模态覆盖的权衡
RadFM基于1600万份2D和3D医学扫描构建，是首个包含3D扫描的多模态数据集，并经过放射学清理的300万视觉语言对微调。相比之下，许多电子病历模型仅在MIMIC-III等小型数据集上训练。数据规模和模态多样性直接影响模型泛化能力，但大规模多模态数据的构建与清理成本高昂。
评估框架与临床实用性的差距
文章提到，现有电子病历基础模型的评估任务不能提供对医疗系统有用性的有意义见解，因此作者提出了更贴近医疗保健重要指标的评估框架。同时，Med-PaLM M生成的胸部X射线报告在40.50%的情况下被医生更青睐。这说明评估需从技术指标转向临床效用，但当前多数模型仍缺乏此类验证。
Q&A
Med-PaLM M是什么？它在医学任务上表现如何？
Med-PaLM M是一个大型多模态生成模型，能够灵活编码和解释临床语言、影像学和基因组学等生物医学数据。它在14个多样化任务上性能优于专家模型，具备零样本泛化、任务间正向迁移学习和零样本医学推理等特点。在胸部X射线报告生成中，医生在40.50%的情况下更青睐其报告。
GPT-4V在医学诊断中的表现如何？
GPT-4V在区分医学图像模态和解剖学方面表现出色，但在疾病诊断和生成综合报告方面面临重大挑战，表明大型多模态模型在有效支持现实医疗应用和临床决策方面仍有很大差距。
BiomedGPT是什么？它有什么特点？
BiomedGPT是一个统一且通用的生物医学生成式预训练转换器模型，利用自监督方法在大量多样化的数据集上训练，可接受多模式输入并执行多种下游任务。它在20个公共数据集上表现优于先前绝大多数最先进模型，涵盖15种独特的生物医学模式，并展示了多模式和多任务预训练方法将知识转移应用于未见数据的有效性。
RadFM是什么？它的构建基于什么数据？
RadFM是一个放射学基础模型，基于大规模医疗多模态数据集MedMD构建，该数据集包含1600万份2D和3D医学扫描，是首个包含3D医学扫描的多模态数据集。模型首先在MedMD上预训练，然后在放射学清理版本RadMD（包含300万份放射学视觉语言对）上进行领域特定微调。RadFM在评估基准的五个任务上明显优于现有的多模态基础模型。
电子病历基础模型存在哪些问题？作者提出了什么改进方案？
作者回顾了80多个非成像电子医疗记录基础模型，发现大多数模型在小型、局限性临床数据集（如MIMIC-III）或广泛公共生物医学语料库（如PubMed）上训练，且评估任务不能提供对其对医疗系统有用性的有意义见解。因此，作者提出了一个更加贴近医疗保健重要指标的评估框架，用于衡量临床基础模型的好处。
医学基础模型有哪些类型？它们面临哪些挑战和机会？
医学基础模型存在一个“光谱”，从一般的视觉模型、模态特异性模型到器官/任务特异性模型。它们面临挑战，但也带来机会，可以提高医学图像分析的准确性和效率，从而促进更精确的诊断和治疗决策。
