在眼科中对大型语言模型（LLM）人工智能聊天机器人进行微调并使用 GPT-4 进行 LLM 评估
内容提要
多项研究评估GPT-4在医学领域的表现：在眼科问答中优于医学生和主治医师，在儿科眼科可辅助诊疗与教学；回答实验室检测问题时在相关性、准确性和安全性上优于其他模型及人工回答，但偶有错误；在课堂对话分析中显著省时且与人工编码高度一致；在病理学多模态诊断中正确率约84%，并通过USMLE基准测试。
延伸解读
LLM在眼科问答中的表现优势
文章指出，GPT-4在眼科专业问题回答上优于医学本科生、硕士和主治医师。这表明LLM在医学知识掌握和回答质量上可能超越人类专家，尤其在眼科领域。但需注意，这种优势基于特定测试集，实际临床决策中仍需结合人类判断。
LLM回答的准确性与局限性
在实验室检测问题中，GPT-4的回答在相关性、准确性和安全性上优于其他模型和人工回答，但偶尔出现缺乏解释、错误陈述和缺乏参考等问题。这提示LLM虽能提供高质量信息，但存在不完美之处，用户应保持批判性思维，并寻求专业验证。
微调与评估方法的重要性
文章提到，在有限或合成数据集上微调后，开源模型性能可与专有模型相当，为实际医疗部署提供机会。同时，多步骤评估范例和结构化交互能提高LLM准确性和实用性。这表明微调和系统评估是提升LLM医疗应用效果的关键。
LLM在教育与诊断中的辅助作用
GPT-4在课堂对话分析中显著节省时间且与人工编码高度一致，在病理学多模态诊断中正确率约84%，并通过USMLE基准测试。这些应用显示LLM可辅助教学评估和医学诊断，但需注意其在不同任务中的表现差异和潜在错误。
Q&A
GPT-4在眼科专业问题上的表现和医学生、主治医师相比怎么样？
研究显示，GPT-4在回答眼科专业问题方面表现优于医学本科生、医学硕士和主治医师，未来在医学教育和临床决策方面可能带来好处。
大型语言模型在儿科眼科中能起到什么作用？
大型语言模型有潜力为儿科眼科提供医疗援助，并具有指导医学生教育的重要能力。
GPT-4回答实验室检测相关问题的表现如何？
GPT-4的回答在相关性、准确性、有帮助性和安全性方面优于其他LLM和人工回答，但偶尔会出现缺乏医学背景解释、错误陈述和缺乏参考等问题。
GPT-4在课堂对话分析中能带来什么好处？
使用GPT-4能够显著节省时间，并且模型与人工编码者之间具有高度的一致性，尽管在某些代码上存在差异，凸显了LLM在教学评估和促进方面的潜力。
GPT-4在病理学多模态诊断中的准确率如何？
以GPT-4-Vision-Preview为LLM，使用多模态多项选择题评估其在病理学领域的医学诊断准确性，结果表明其约有84%的正确诊断，同时通过进一步分析揭示了其在特定领域的不足之处。
GPT-4在USMLE基准测试中的表现如何？
通过对USMLE和MultiMedQA基准数据集的全面评估，发现不需要专门的提示造型来激发GPT-4，它的表现超过了USMLE的合格分数约20分，并表现优于早期的通用模型（GPT-3.5）以及专门针对医学知识进行细化调整的模型（Med-PaLM，Flan-PaLM540B的提示调整版本）。
