癫痫 LLM: 领域特定的大型语言模型，以癫痫医学知识进行了精细调整
内容提要
本文综述大语言模型在医学等垂直领域的专业化方法，包括持续训练注入领域知识、监督微调与检索增强以提升可靠性。案例有PMC-LLaMA、MindLLM及中文医学Llama 2等，小规模临床模型在电子健康记录理解上可优于通用大模型。评估显示通用模型在原子知识与指令遵循上更强，专用模型安全性较弱；零样本LLM在部分生物医学任务上可超越现有模型，但整体仍逊于微调专用模型。
延伸解读
领域知识注入的两种路径
文章提到，向LLM注入医学知识主要有持续训练和监督微调两种方式。持续训练让模型在大量生物医学文本上继续学习，如PMC-LLaMA在480万篇论文上微调；监督微调则通过设计特定任务提升模型解决实际问题的能力。两者结合检索增强可提高答案可靠性。读者需注意，不同方法各有侧重，选择取决于目标场景和数据条件。
小模型在临床场景的潜力与局限
文章指出，相对较小的专业临床文本模型在解析电子健康记录方面可显著优于大规模通用模型，且临床标记预训练能实现更小、更高效的模型。但评估也显示，专用模型在安全性方面表现较差，而通用模型在原子知识和指令遵循上更强。这意味着小模型虽高效，但需警惕其安全风险，不宜盲目替代通用模型。
零样本LLM的意外表现与整体差距
一项涵盖26个数据集、6类生物医学任务的评估发现，零样本LLM在训练集较小的任务上甚至超过当前最先进的生物医学模型，表明大规模预训练赋予了LLM相当的专业能力。然而，整体上LLM仍远逊于在大规模训练集上微调的生物医学模型，且没有单个LLM能在所有任务中胜出。这提示LLM在缺乏标注数据的场景有潜在价值，但尚不能完全替代专用模型。
中文医学模型的低成本实践
文章介绍，通过连续训练和指令微调，可快速将Llama 2基础模型适配到中国医学领域，实验证实该方法有效，产生的模型可与GPT-3.5-turbo相媲美，且计算资源消耗更少。这为预训练模型缺乏专业知识的领域（如法律、科学和工程）提供了可复用的领域特定训练模板，说明领域专业化不一定需要极高成本。
Q&A
如何让大语言模型在医学领域更专业？
可以通过持续训练注入领域知识、监督微调以及检索增强来提升模型在医学领域的专业性和可靠性。例如，在生物医学论文上微调、设计医学领域指导微调任务，并加入检索模块提取相关文献，使模型生成更可靠的答案。
PMC-LLaMA是什么？它有什么特点？
PMC-LLaMA是一种在480万篇生物医学论文上微调得到的语言模型，用于注入医学知识。它在生物医学数据集上表现出更好的生物医学特定概念理解，并在QA基准上表现出高性能。
专用医学语言模型和通用大模型在性能上有什么差异？
通用语言模型在原子知识和指令遵循能力方面表现更好，而专用语言模型在提供安全性方面表现较差。但在电子健康记录理解等特定任务上，较小的专业临床文本模型可以显著优于大规模通用模型。
零样本LLM在生物医学任务上表现如何？
在具有较小训练集的生物医学数据集中，零样本LLM甚至在效果上超过了当前最先进的生物医学模型，表明在大型文本语料库上预训练使LLM在生物医学领域具有相当专业的能力。但整体上，它们仍逊于在大型训练集上微调的生物医学模型。
如何用LLM进行临床疾病预测？
CPLLM方法通过对LLM进行精细调整，利用诊断记录预测患者在下次就诊或随后诊断时是否被诊断为目标疾病。实验证明，CPLLM在PR-AUC和ROC-AUC指标上均优于逻辑回归、RETAIN和Med-BERT等基准模型。
中文医学领域如何快速适配Llama 2模型？
使用连续训练和指导微调的方法，可以快速将Llama 2基础模型适配到中国医学领域。实验证实该方法有效，产生了与GPT-3.5-turbo相媲美的模型，并且使用更少的计算资源。这为领域特定训练提供了一个模板。
