标签监督的 LLaMA 微调
原文中文,约300字,阅读约需1分钟。发表于: 。本文介绍了一种基于标签监督的适应大语言模型(LLMs)的方法,通过从 LLMs 提取潜在表示并将其投影到标签空间计算交叉熵损失来微调模型。在各种下游任务中,该方法显著优于比其十倍规模的 LLMs 以及其他强大的基线模型如 BERT-Large 和 RoBERTa-Large。此外,通过从解码器中移除因果掩码,LS-unLLaMA 在命名实体识别(NER)中实现了最先进的性能。
本文介绍了一种基于标签监督的适应大语言模型(LLMs)的方法,通过微调模型并在各种下游任务中取得了显著优于其他强大的基线模型的表现,同时在命名实体识别(NER)中实现了最先进的性能。