SERVAL: 垂直模型与 LLMs 之间的协同学习,实现类似 Oracle 的零 - shot 医疗预测
原文中文,约500字,阅读约需2分钟。发表于: 。在本文中,我们提出了 SERVAL,一个协同学习流程,旨在通过互补增强,无监督地发展大型语言模型和小型模型的垂直能力。具体而言,SERVAL 利用大型语言模型的零初始输出作为注释,利用其置信度来教授一个鲁棒的垂直模型。反过来,经过训练的垂直模型指导大型语言模型微调以增强其零初始能力,通过迭代过程逐步改进两个模型。在医学领域,通过全面的实验证明,SERVAL...
本研究探讨了大型语言模型在补充生物医学知识图谱中的潜力,并通过改进的学习阶段获得高保真度的生物医学概念和句子表示。与以往技术相比,在多个任务上性能显著提升。发布了多语言模型,为临床流程和生物信息学研究提供宝贵工具。希望BioLORD-2023成为未来生物医学应用的宝贵工具。