全球首个医疗健康AI独立评测与分析平台InclusionMed正式上线

全球首个医疗健康AI独立评测与分析平台InclusionMed正式上线

💡 原文中文,约1200字,阅读约需3分钟。
📝

内容提要

全球首个医疗健康AI独立评测平台InclusionMed上线,由29家机构共建,同步推出评测图谱Atlas和首期指数Index。图谱按患者、专业人员、管理人员三类角色与知识、推理、任务执行三类能力交叉形成九宫格。首期聚焦临床诊疗与医疗管理,纳入五项基准、1034项任务,比较11家厂商22个模型,并自建疑难病例基准DxFiles。团队拟开发医患共同决策、诊疗调度等新评测任务。

🔎

延伸解读

九宫格图谱:让评测覆盖缺口一目了然

InclusionMed Atlas 将患者与公众、医疗专业人员、医疗管理人员三类角色,与知识、推理、任务执行三类能力交叉,形成九宫格。每项基准按主要评测内容归入对应格子,读者可直观看到现有评测覆盖了哪些医疗需求、哪些方面仍空白。这种结构化归类有助于避免仅凭单项测试成绩判断模型能力,也为后续补充评测任务提供了参照框架。

首期指数:独立复测与自建疑难病例基准

首期指数纳入五项基准、1034项任务,比较11家厂商22个模型,并经过独立复测。团队综合医疗相关性、评测可信度、场景互补性等因素,选出四项公开基准,加上自建的InclusionMed-DxFiles共同构成指数。DxFiles基于顶级医学期刊的疑难病例,考察模型结合线索进行临床判断的能力,弥补了公开基准在复杂病例推理上的不足。

从单点问答到多步任务:评测范围仍在扩展

文章指出,健康问答表现好不代表能完成复杂专业医疗任务,如识别疑难病例线索、在电子病历系统中操作、处理多步骤研究或运营任务。项目组正与医疗机构合作,拟围绕医患共同决策、资源约束下的诊疗调度等场景开发新评测任务。这意味着当前指数只是起点,后续将更贴近真实临床与管理流程,读者应关注评测任务覆盖范围的动态变化。

❓

Q&A

InclusionMed是什么平台?由哪些机构共建?

InclusionMed是全球首个医疗健康AI独立评测与分析平台,由来自斯坦福大学、哈佛大学、北京协和医学院、蚂蚁集团、InclusionMed.AI等29家机构的研究人员共同建设,旨在为医疗健康AI提供系统的评估依据。

InclusionMed Atlas评测图谱是如何构建的?

InclusionMed Atlas围绕“面向谁”和“考察什么能力”两个维度,将患者与公众、医疗专业人员、医疗管理人员三类角色,与知识、推理、任务执行三类能力交叉,形成九宫格评测图谱。每项基准按其主要评测内容归入相应位置,帮助看清评测覆盖与缺口。

首期InclusionMed Index纳入了哪些评测基准和模型?

首期评测聚焦临床诊疗与医疗管理两大方向,纳入五项评测基准、1034项任务,对国内外11家厂商的22个模型进行系统比较。经过独立复测,综合考察医疗相关性、评测可信度、场景互补性等因素,最终选出四项公开评测基准,与团队自建的InclusionMed-DxFiles共同构成首期指数。

InclusionMed-DxFiles是什么?它考察模型的什么能力?

InclusionMed-DxFiles是团队自建的评测基准,基于顶级医学期刊刊载的疑难病例构建,考察模型结合病例线索进行临床判断的能力。

为什么需要独立的医疗AI评测平台?

因为一个在健康问答中表现出色的AI,未必能做好复杂的专业医疗任务,如识别疑难病例关键线索、在电子病历系统中准确操作、处理医学研究与医疗运营中的多步骤任务。业内已有多种评测基准,但单项测试成绩难以完整反映模型在不同医疗任务中的表现,因此需要系统性的独立评测平台。

项目组未来计划开发哪些新的评测任务?

项目组正与医疗机构和研究团队合作,拟围绕复杂治疗选择中的医患共同决策、资源约束下的诊疗调度等场景,开发新的评测任务,进一步考察AI在临床诊疗、患者决策支持和医疗健康管理中的表现。

🏷️

标签

➡️

继续阅读