量子位
·
斯坦福临床医疗AI横评，DeepSeek把谷歌OpenAI都秒了
内容提要
斯坦福大学评测显示，DeepSeek R1在35个基准测试中表现最佳，胜率达到66%，涵盖22个经过临床医生验证的医疗任务，显示出不同模型的显著表现差异。
关键要点
-
斯坦福大学评测显示，DeepSeek R1在35个基准测试中表现最佳，胜率达到66%。
-
评测框架包含35个基准测试，覆盖22个经过临床医生验证的医疗任务。
-
评测重点关注临床医生的日常工作场景，而非传统医疗执照考试题。
-
评测团队由29名来自14个医学专科的执业医师共同参与开发。
-
DeepSeek R1以66%胜率和0.75宏观平均分领先，o3-mini紧随其后，胜率为64%。
-
评测结果显示模型表现存在显著差异，部分模型在特定任务中表现较差。
-
评测采用大语言模型评审团方法，显示与临床医生评分一致性较高。
-
成本效益分析显示，DeepSeek R1和o3-mini的成本较高，但胜率也较高。
延伸解读
评测框架的重要性
斯坦福的评测框架MedHELM通过临床医生的验证，确保了评估的科学性和实用性。该框架不仅涵盖了多种医疗任务，还模拟了临床医生的日常工作逻辑，为AI模型的评估提供了更真实的场景。这种方法有助于识别模型在实际应用中的优势和不足，推动医疗AI的进一步发展。
模型表现的层次性
评测结果显示，不同模型在各类任务中的表现差异显著。自由文本生成任务如临床病例生成表现优异，而结构化推理任务则相对较弱。这提示开发者在选择模型时需考虑具体应用场景，以确保所选模型能够满足特定的临床需求。
成本效益分析的启示
研究中的成本效益分析揭示了高性能模型通常伴随较高的使用成本。尽管DeepSeek R1和o3-mini的胜率较高，但其成本也显著高于其他模型。这一发现提醒医疗机构在引入AI技术时，需综合考虑性能与成本，以实现最佳的资源配置。
延伸问答
DeepSeek R1在评测中表现如何？
DeepSeek R1在35个基准测试中以66%的胜率表现最佳，宏观平均分为0.75。
评测框架包含哪些内容？
评测框架包含35个基准测试，覆盖22个经过临床医生验证的医疗任务。
评测团队由哪些专业人士组成？
评测团队由29名来自14个医学专科的执业医师共同参与开发。
DeepSeek R1的成本效益如何？
DeepSeek R1的成本为1806美元，胜率为0.66，显示出较高的性价比。
评测中模型表现的差异有哪些？
模型表现存在显著差异，部分模型在特定任务中表现较差，如Gemini 2.0 Flash和GPT-4o的胜率较低。
大语言模型评审团方法的有效性如何？
大语言模型评审团方法与临床医生评分的一致性达到0.47，优于传统自动化评估指标。
