结合语言模型的专业领域研究:一种多彩的方法
原文中文,约300字,阅读约需1分钟。发表于: 。将领域特定语言模型与通用语言模型相结合,通过为每个词标记或 “上色” 来指示它与通用模型或领域特定模型的关联,以优化的算法有效处理带有上色词的推理,实现将领域特定术语融入到语言任务中并降低错误率。
本文提出了一个新的跨语言生物医学实体链接任务,并建立了一个涵盖10种语言的基准测试。研究了标准、知识增强的单语和多语言语言模型在标准英语生物医学实体链接任务之外的能力,并解决了把资源丰富的语言中的领域特定知识传递给资源贫乏的语言的挑战。提出并评估了一系列的跨语言传递方法,研究表明,本文提出的领域特定传递方法在所有目标语言中均获得了持续的提高,有时可高达20个Precision@1点,而无需目标语言具有领域内的知识和对应的并行数据。