上海交大和上海AI Lab发布了全球首个开源的多模态医疗基础模型RadFM，支持2D/3D放射影像输入，解决了医学领域基础模型构建的挑战，包括数据集缺乏、架构设计和评估基准不足。研究团队构建了最大规模的医疗多模态数据集MedMD，并设计了RadFM模型架构。他们还建立了全新的评估基准RadBench，与其他开源多模态模型进行了比较。RadFM模型在报告生成、Medical VQA和推理诊断任务上表现出色，有望在医疗诊断和治疗方面取得更好的效果。