Novel-WD:利用前缀微调探索大型语言模型中新世界知识的获取

📝

内容提要

本研究解决了预训练大型语言模型(PLM)获取新信息的挑战,尤其是在快速适应新知识方面的不足。提出了Novel-WD数据集,该数据集由最近的Wikidata更新提取的新事实构成,创新性地采用前缀微调方法来提高新信息的学习效率。研究结果表明,单个事实可以可靠地通过前缀编码,而前缀的容量则随着长度和基本模型的大小而增加,具有重要的潜在影响。

🏷️

标签

➡️

继续阅读