使用预训练语言模型和提示的小样本学习，为低资源语言提取临床信息
内容提要
本文探讨了弱监督提示学习方法MedPrompt在医学图像识别中的应用，结合大型语言模型和轻量级监督标注模型，在低资源环境下表现优越，尤其在临床实体识别任务中。研究显示，GPT-3在信息提取任务上显著优于现有基线，并展示了预训练语言模型在多语言少样本学习中的应用，推动了临床自然语言处理的发展。
延伸解读
低资源临床信息提取的挑战与机遇
临床领域常面临公共医疗语料库和注释缺乏的问题，这限制了传统监督学习的效果。本文探讨了利用大型语言模型的零样本和少样本学习能力，从临床文本中提取信息，包括跨度识别、令牌级序列分类和关系提取。通过引入新的CAS数据集并进行手动再注释，GPT-3在信息提取任务上显著优于现有基线，展示了预训练语言模型在低资源环境下的潜力。
提示工程在临床NLP中的关键作用
提示工程是调用预训练模型知识的关键。本文对五个临床自然语言处理任务（临床意义消除、生物医学证据提取、共指消解、药物状态提取和药物属性提取）的提示工程进行了系统实验，评估了多种提示类型在GPT-3.5、BARD和LLAMA2上的性能，并提出了新见解和指南。合理设计的医学提示语能改善泛化能力和新对象识别，而自动化生成医学提示的方法可将专家知识和图像特定信息注入提示语中。
多语言与跨领域迁移的实证研究
预训练语言模型在多语言跨领域少样本学习任务中展现出交叉语言迁移特性。本文将其应用于混合代码（西班牙语-加泰罗尼亚语）临床笔记的命名实体识别，以保护个人隐私信息。此外，结合临床知识图谱和大语言模型的ClinGen方法，通过临床知识提取和上下文信息化的大语言模型指导数据生成，持续提升性能，并对生成训练实例的多样性和真实数据分布进行有效调整。
零样本分类的局限性与模型知识评估
尽管预训练语言模型在语言理解方面表现出很强能力，但其在医疗咨询中准确分类医生和人工智能生成的文本可能需要特定语料库训练或其他技术。本文通过零样本学习探讨了这种分类的有效性，实验结果表明仅依赖零样本分类存在局限性。同时，在EHR笔记上下文中添加提示的实验表明，语言模型可以从噪声知识中区分正确知识，这种区分能力可作为评估模型知识量的新度量。
Q&A
MedPrompt方法如何提升医学图像识别的性能？
MedPrompt通过自动生成医学提示，结合预训练的视觉-语言模型，在低资源情况下提升医学图像识别的性能和准确率。
GPT-3在信息提取任务中的表现如何？
GPT-3在信息提取任务上显著优于现有的零和少样本基线，展示了预训练语言模型的有效性。
预训练语言模型在多语言学习中的优势是什么？
预训练语言模型在多语言跨领域少样本学习任务中具有交叉语言迁移特性，能够解决缺乏数据的挑战。
ClinGen方法如何提高临床自然语言处理的性能？
ClinGen通过结合临床知识图谱和大语言模型，指导数据生成，持续提升性能。
合理设计的医学提示语对模型有什么影响？
合理设计的医学提示语是调用预训练模型知识的关键，能够改善泛化能力和新对象识别。
预训练语言模型在医疗咨询中的分类能力需要什么？
预训练语言模型在医疗咨询中的分类能力需要特定语料库训练以提高准确性。
