SERVAL: 垂直模型与 LLMs 之间的协同学习，实现类似 Oracle 的零 - shot 医疗预测
内容提要
该文综述多项研究：利用UMLS知识图谱与大语言模型，通过对比学习、自蒸馏和权重平均提出BioLORD-2023，在MedSTS等任务上显著提升，并发布支持50多种语言的多语言模型；另介绍自我验证临床信息提取、多学科协作框架、医学图像分割、S³A零样本分类、MedEval基准及REAVL等视觉语言预训练方法。
延伸解读
BioLORD-2023 的性能提升与多语言支持
BioLORD-2023 通过改进的对比学习、自蒸馏和权重平均化，在 MedSTS、MedNLI-S 和 EHR-Rel-B 等任务上分别提升了 2、2.5 和 6.1 个点。该模型不仅提供英文版本，还蒸馏并发布了支持 50 多种语言的多语言模型，并在 7 种欧洲语言上进行了微调，这有助于推动生物医学语义表示学习在全球范围内的应用。
自我验证方法在临床信息提取中的价值
文章介绍了一种基于自我验证的方法，利用大语言模型提高规范化临床信息提取的准确性，无需可靠的人工注释，并能提供输出解释。这在资源受限的情况下尤其有用，有助于有效审核提取的临床信息，减少对人工标注的依赖，提升临床流程的自动化水平。
多学科协作框架与医学推理增强
文章提出了一种基于大语言模型的多学科协作框架，通过角色扮演的 LLM 代理参与协作多轮讨论，增强 LLM 的能力和推理能力，用于挖掘医学专业知识和扩展推理能力。该框架还通过人类评估找出常见错误并进行消融研究，为利用 LLM 进行复杂医学推理提供了新思路。
医学视觉语言模型与零样本分类进展
文章综述了多个医学视觉语言模型研究，包括 S³A 框架通过 Cluster-Vote-Prompt-Realign 算法实现零样本分类，相对 CLIP 平均提高 15% 以上准确性；REAVL 基于知识图谱的视觉语言预训练模型；以及 MedEval 基准，涵盖 8 种检查模式、35 个人体区域，系统评估了 10 个语言模型，强调了少样本指导调整的重要性。
Q&A
BioLORD-2023 是什么？它有什么主要改进？
BioLORD-2023 是一种利用 UMLS 知识图谱和大型语言模型提出的生物医学语义表示学习方法。它通过改进的对比学习阶段、新颖的自蒸馏阶段和权重平均化阶段，获得了生物医学概念和句子的高保真度表示。
BioLORD-2023 在哪些任务上取得了性能提升？具体提升了多少？
BioLORD-2023 在 MedSTS 上提高了 2 点，在 MedNLI-S 上提高了 2.5 点，在 EHR-Rel-B 上提高了 6.1 点，相比以往先进技术有一致且显著的性能改进。
BioLORD-2023 是否支持多语言？支持哪些语言？
是的，除了新型英文生物医学模型外，BioLORD-2023 还蒸馏并发布了与 50 多种语言兼容的多语言模型，并在 7 种欧洲语言上进行了微调。
S³A 框架是什么？它如何实现零样本分类？
S³A（Self Structural Semantic Alignment）框架通过从无标签数据中提取结构语义信息并进行自学习，克服了传统方法需要部分源监督或理想词汇表的限制。它通过 Cluster-Vote-Prompt-Realign 算法实现迭代聚类，利用大语言模型生成辨别性提示来识别混淆的类别候选项，并通过师生学习策略进行自学习，从而实现零样本分类。
MedEval 基准数据集是什么？它包含哪些内容？
MedEval 是一个多层次、多任务和多领域的医疗基准数据集，包含来自多个医疗系统的数据，跨越了 8 种检查模式的 35 个人体区域。它用于促进医疗语言模型的发展，并对 10 个通用和领域特定的语言模型进行了系统评估。
REAVL 模型是什么？它有什么特点？
REAVL 是一种基于知识图谱的视觉语言预训练模型，能够检索多模态数据中的世界知识，并结合多模态数据和知识来完成预训练，以提高视觉语言理解和多模态实体链接任务的性能。
