量子位
·
斯坦福临床医疗AI横评，DeepSeek把谷歌OpenAI都秒了
💡
原文中文，约3300字，阅读约需8分钟。
📝
内容提要
斯坦福大学评测显示，DeepSeek R1在35个基准测试中表现最佳，胜率达到66%，涵盖22个经过临床医生验证的医疗任务，显示出不同模型的显著表现差异。
🎯
关键要点
- 斯坦福大学评测显示，DeepSeek R1在35个基准测试中表现最佳，胜率达到66%。
- 评测框架包含35个基准测试，覆盖22个经过临床医生验证的医疗任务。
- 评测重点关注临床医生的日常工作场景，而非传统医疗执照考试题。
- 评测团队由29名来自14个医学专科的执业医师共同参与开发。
- DeepSeek R1以66%胜率和0.75宏观平均分领先，o3-mini紧随其后，胜率为64%。
- 评测结果显示模型表现存在显著差异，部分模型在特定任务中表现较差。
- 评测采用大语言模型评审团方法，显示与临床医生评分一致性较高。
- 成本效益分析显示，DeepSeek R1和o3-mini的成本较高，但胜率也较高。
❓
延伸问答
DeepSeek R1在评测中表现如何？
DeepSeek R1在35个基准测试中以66%的胜率表现最佳，宏观平均分为0.75。
评测框架包含哪些内容？
评测框架包含35个基准测试，覆盖22个经过临床医生验证的医疗任务。
评测团队由哪些专业人士组成？
评测团队由29名来自14个医学专科的执业医师共同参与开发。
DeepSeek R1的成本效益如何？
DeepSeek R1的成本为1806美元，胜率为0.66，显示出较高的性价比。
评测中模型表现的差异有哪些？
模型表现存在显著差异，部分模型在特定任务中表现较差，如Gemini 2.0 Flash和GPT-4o的胜率较低。
大语言模型评审团方法的有效性如何？
大语言模型评审团方法与临床医生评分的一致性达到0.47，优于传统自动化评估指标。
➡️
