GPT-4 在基于 USMLE 的病例研究中的评估
内容提要
多项研究评估GPT-4等大语言模型在医学领域的表现：GPT-4在USMLE考试中超出合格线约20分，优于GPT-3.5及Med-PaLM等专用模型；在眼科、内科等专科测试中优于开源模型，接近或超过医生水平。提示工程影响显著，闲聊不影响其医疗建议准确性，但模型仍存在解释不足、错误陈述等问题。
延伸解读
提示工程对模型表现的影响
文章指出，GPT-4在USMLE中无需专门提示工程即可超过合格线约20分，但在其他任务中，提示工程显著影响性能。例如，在识别轻度认知障碍的研究中，提示工程的重要性被强调，且GPT-4存在推理-响应不一致性。这表明，尽管GPT-4在标准化考试中表现优异，但在实际临床应用中，合适的提示设计对确保输出准确性和临床连贯性至关重要。
与专用医学模型的比较
评估显示，GPT-4在USMLE和MultiMedQA基准上优于专门针对医学知识微调的模型（如Med-PaLM和Flan-PaLM540B）。在眼科、内科等专科测试中，GPT-4也优于开源模型，并接近或超过医生水平。然而，开源模型在零-shot推理能力上表现不佳，提示通用模型在医学领域的优势可能源于其大规模预训练和泛化能力。
实际应用中的局限与风险
尽管GPT-4在多项评估中表现优异，但研究也揭示了其局限性。例如，在实验室检测问题回答中，GPT-4偶尔出现缺乏医学背景解释、错误陈述和缺乏参考等问题。此外，模型可能无法完全满足特定信息需求，且存在推理-响应不一致性。这些局限提示，在临床决策中直接依赖LLM输出需谨慎，并需进一步方法论改进以确保准确性和安全性。
Q&A
GPT-4在USMLE考试中的表现如何？
GPT-4在USMLE考试中超出合格分数约20分，并且表现优于GPT-3.5以及专门针对医学知识进行细化调整的模型（如Med-PaLM）。
GPT-4在眼科领域的表现与医生相比如何？
在眼科专业问题评估中，GPT-4表现优于医学本科生、医学硕士和主治医师等专业人员群体，显示出在医学教育和临床决策方面的潜力。
闲聊是否会影响ChatGPT提供医疗建议的准确性？
研究显示，闲聊不会影响ChatGPT提供医疗建议的能力，且ChatGPT-4的准确性比3.5版本更高。
开源大语言模型在内科专科测试中的表现如何？
与GPT-4和Claude 2相比，当前广泛使用的开源大语言模型在零-shot推理能力方面表现不佳。
提示工程对GPT-4在医学诊断中的表现有何影响？
提示工程对GPT-4的表现有重要影响，研究强调了提示工程的重要性，并指出需要进一步探索GPT-4中观察到的推理-响应不一致性。
GPT-4在回答实验室检测问题时的表现如何？
GPT-4的回答在相关性、准确性、有帮助性和安全性方面优于其他LLMs和人工回答，但偶尔会出现对医学背景缺乏解释、错误陈述和缺乏参考等问题。
