AgentMD：借助大规模临床工具学习提升语言代理人的风险预测能力
内容提要
该文综述大语言模型在医疗领域的应用，包括多学科协作框架提升推理、EHRAgent自主执行临床任务、语言模型表征电子健康记录、自动生成临床笔记、糖尿病管理对话代理、临床记录问答系统，以及提供上下文解释以增强信任。
延伸解读
多学科协作框架的角色扮演机制
文章提出一种基于大型语言模型的多学科协作框架，通过角色扮演的LLM代理参与协作多轮讨论，以增强LLM的医学专业知识和推理能力。该框架在人类评估中识别常见错误并进行消融研究，旨在挖掘LLM中的医学知识并扩展其推理能力。
EHRAgent的自主代码生成与执行
EHRAgent是一个基于LLM的代理，通过代码接口自主生成和执行复杂临床任务，结合长期记忆和交互式编码与执行反馈提升性能。在两个真实电子健康记录数据集上，其表现分别比最强LLM代理基准提高36.48%和12.41%，能以最小演示处理复杂临床任务。
语言模型表征电子健康记录的风险与优势
利用语言模型表征结构化电子健康记录（如诊断历史）可提升多种风险预测任务性能，并具有少样本学习、处理未知医学概念和适应医学词汇等优势。但文章强调，使用这些模型时需要谨慎，可能涉及模型幻觉等挑战。
临床笔记自动生成与问答系统的进展
在MEDIQA-Chat 2023共享任务中，基于LLM的少量样本上下文学习方法生成的临床笔记与人工书写笔记一样受欢迎，并排名第一。临床记录问答系统利用Langchain和变压器LLM实现自然语言查询，Wizard Vicuna准确性更高但计算需求大，模型量化使延迟提升约48倍。
Q&A
AgentMD是什么？它如何提升语言代理的风险预测能力？
AgentMD是一种基于大型语言模型（LLMs）的多学科协作框架，通过角色扮演的LLM代理参与协作多轮讨论，增强LLM的能力和推理能力，用于挖掘并利用LLMs中的医学专业知识和扩展其推理能力，从而提升风险预测能力。
EHRAgent1在临床任务中的表现如何？
EHRAgent1是一个基于大型语言模型的代理人，通过代码接口实现自主生成和执行复杂临床任务的能力，并结合长期记忆和交互式编码与执行反馈来提高性能。在两个真实世界的电子健康记录数据集上的实验表明，EHRAgent1相较于最强大的大型语言模型代理人基准表现分别提高了36.48%和12.41%。
使用语言模型表示电子健康记录（EHRs）有哪些优势和风险？
优势包括在各种风险预测任务中提高性能，同时具有少样本学习、处理未知医学概念和适应各种医学词汇等能力。但使用时需要谨慎，因为可能存在风险。
如何从医生-患者对话中自动生成临床笔记？
有两种方法：第一种是微调共享任务数据上的预训练语言模型（PLM），第二种是使用大型语言模型（LLM）进行少量样本的上下文学习（ICL）。两种方法在自动指标（如ROUGE，BERTScore）上均实现了高性能，并分别排名共享任务的二和一位。专业人士的审查表明，通过基于ICL的方法和GPT-4生成的笔记与人工书写的笔记一样受欢迎。
大型语言模型在医疗问答中存在哪些风险？
使用GPT-3模型进行医疗问题回答（MedQA）存在挑战和风险，分析表明LLMs对高风险的查询无法适当回应，生成错误的医疗信息、不安全的建议和可能被视为冒犯的内容。
对话卫生代理如何帮助糖尿病患者管理？
使用知识注入的大型语言模型驱动的对话卫生代理（CHA）进行糖尿病患者的管理，通过整合外部知识和分析能力，包括美国糖尿病协会的膳食指南和Nutritionix的信息，以及营养摄入计算和与指南的比较等分析工具，与GPT4相比，该代理在生成管理重要营养素的回答方面表现出更好的性能。
如何利用大型语言模型对临床记录进行动态问答？
通过Langchain和基于变压器的LLMs实现聊天机器人，允许用户用自然语言查询并从临床记录中获得相关答案。经过利用各种嵌入模型和先进的LLMs的实验表明，Wizard Vicuna具有更高的准确性，尽管计算需求较高。模型优化，包括重量量化，使延迟时间提高了约48倍。
提供上下文解释如何提高医疗专家对AI系统的信任？
提供上下文解释可以提高医疗专家对人工智能系统的信任度。我们使用多个LLMs构建了一个端到端的人工智能流程，包括数据集建立，风险预测模型，后续模型解释和可视化仪表盘，以识别2型糖尿病并发症慢性肾脏疾病的驱动因素及风险，证实了上下文解释在临床实践中的可行性和价值。
