量子位
·
GPT-4o医学知识覆盖率仅55%？腾讯优图团队发布大模型医疗能力“体检报告”
💡
原文中文，约2900字，阅读约需7分钟。
📝
内容提要
腾讯优图团队发布的MedKGEval框架首次量化了GPT-4o等大语言模型在医学知识覆盖度，仅为55%。该框架通过医疗知识图谱进行多层级评估，揭示了模型在医学知识存储与推理能力上的优势与局限，为提升医疗模型的可靠性提供依据。
🎯
关键要点
- 腾讯优图团队发布的MedKGEval框架首次量化了GPT-4o等大语言模型在医学知识覆盖度，仅为55%。
- MedKGEval框架通过医疗知识图谱进行多层级评估，揭示了模型在医学知识存储与推理能力上的优势与局限。
- 当前主流评估体系存在长尾数据覆盖不足、任务导向设计局限和传统问答形式的缺陷。
- MedKGEval框架设计了三级评估体系，包括实体层、关系层和子图层，全面评估医学知识覆盖度。
- 评估任务包括实体理解、医学关联认知和结构化推理，采用真伪判断和多选题形式。
- 实验结果显示，GPT-4o在任务导向评估中表现最佳，且在知识覆盖度上也领先其他模型。
- MedKGEval能够有效定位LLM在特定医学知识领域的认知缺陷，为模型优化提供指导。
- 研究团队建议在微调中针对性补充医学知识，以提升医疗领域LLM的整体性能。
❓
延伸问答
MedKGEval框架的主要功能是什么？
MedKGEval框架通过医疗知识图谱进行多层级评估，量化大语言模型在医学知识覆盖度的表现。
GPT-4o在医学知识覆盖度评估中表现如何？
GPT-4o在评估中表现最佳，平均准确率为70.65%，在知识覆盖度上领先其他模型。
MedKGEval框架是如何评估医学知识的？
框架设计了三级评估体系，包括实体层、关系层和子图层，评估任务涵盖实体理解、医学关联认知和结构化推理。
当前主流评估体系存在哪些局限性？
主流评估体系存在长尾数据覆盖不足、任务导向设计局限和传统问答形式的缺陷。
研究团队对模型优化有什么建议？
研究团队建议在微调中针对性补充医学知识，以提升医疗领域大语言模型的整体性能。
MedKGEval框架的评估任务包括哪些？
评估任务包括实体理解、医学关联认知和结构化推理，采用真伪判断和多选题形式。
➡️
