KBioXLM:一种基于知识锚定的多语言预训练生物医学语言模型
原文中文,约300字,阅读约需1分钟。
📝
内容提要
本文提出了新的跨语言生物医学实体链接任务和基准测试,并研究了单语和多语言语言模型在该任务中的能力。同时解决了资源丰富语言向资源贫乏语言传递领域特定知识的挑战,并提出并评估了跨语言传递方法。研究结果表明,领域特定传递方法在所有目标语言中都有持续提高,有时可高达20个Precision@1点,无需目标语言具有领域内知识和并行数据。
🎯
关键要点
-
提出了新的跨语言生物医学实体链接任务和基准测试,涵盖10种语言。
-
研究了单语和多语言语言模型在生物医学实体链接任务中的能力。
-
解决了资源丰富语言向资源贫乏语言传递领域特定知识的挑战。
-
提出并评估了一系列跨语言传递方法。
-
领域特定传递方法在所有目标语言中持续提高,最高可达20个Precision@1点。
-
无需目标语言具有领域内知识和并行数据。
🏷️