领域特定性在语言模型和生物医学关系抽取的指导有多重要？
内容提要
该文综述生物医学自然语言处理进展：指令调优通用大模型可媲美BioBERT；领域预训练优于持续预训练；发布BioInstruct数据集微调LLaMA；研究微调稳定性；在26个数据集6项任务上评估大模型，零样本可超专用模型，但无单一模型全面领先，仍具潜力。
延伸解读
领域预训练与持续预训练的对比
文章指出，在生物医学领域，从头进行领域特定预训练的语言模型，相比在通用领域模型上持续预训练，能显著提升下游任务效果。这一发现提示，对于生物医学这类专业领域，直接利用领域内未标注文本进行预训练可能比在通用模型上继续训练更有效，且一些常用做法可能并不必要。
大语言模型的零样本能力与局限
评估显示，在训练集较小的生物医学数据集上，零样本大语言模型甚至能超过当前最先进的生物医学模型，表明大规模预训练赋予了其相当的专业能力。然而，没有单一模型在所有任务中领先，且与在大规模训练集上微调的生物医学模型相比，大语言模型性能仍较差，说明其潜力与局限并存。
指令调优与数据集构建
为提升大语言模型在生物医学自然语言处理中的表现，研究者构建了包含超过25000个示例的BioInstruct指令数据集，并对LLaMA模型进行指令调优。这反映了指令调优在领域适应中的重要性，同时多任务学习原则被用于评估指令对模型性能的贡献。
微调稳定性与知识库能力
文章提到，微调稳定性是生物医学NLP中的一个问题，可通过领域特定词汇和预训练来建立更稳健的模型。此外，基于BioLAMA基准的研究发现，预训练语言模型在检索生物医学知识时精确度有限，且预测高度依赖提示模板，限制了其作为领域知识库的能力。
Q&A
在生物医学NLP中，领域特定预训练与持续预训练通用模型相比效果如何？
在丰富的未标记文本领域中，从头开始针对特定领域的预训练语言模型相对于持续预训练通用领域语言模型，能够显著提高生物医学NLP任务的效果，并发现一些常用做法不必要。
BioInstruct数据集是什么？它有什么用途？
BioInstruct是一个包含超过25000个示例的定制任务特定指令数据集，用于微调LLMs以优化其在生物医学自然语言处理（BioNLP）领域的性能。
大型语言模型在生物医学任务中的零样本性能如何？
在具有较小训练集的生物医学数据集中，零次矫正的LLMs甚至在效果上超过了当前最先进的生物医学模型，表明在大型文本语料库上预训练使LLMs在生物医学领域具有了相当专业的能力。
是否有单一的大型语言模型在所有生物医学任务中表现最佳？
没有，研究发现所有任务中没有单个LLM能够胜过其他LLMs，不同LLMs的性能可能会因任务而异。
生物医学语言模型能否作为领域知识库？
通过创建BioLAMA基准测试，发现生物医学语言模型在检索生物医学知识方面可以取得18.51%的精确度，但多数预测与无主题的提示模板高度相关，因此限制了它们作为特定领域知识库的能力。
指令调优的通用大模型在生物医学NLP任务上能否达到专用模型的效果？
利用指令调整技术对两个规模庞大的通用语言模型进行研究，以期在生物医学自然语言处理任务上取得类似于BioBERT和BioClinicalBERT等特定编码器模型的结果，并提供了相应的代码、模型和基于指令的数据集。
