kNN 语言模型的可控生成的风格局部性

BriefGPT - AI 论文速递 ·

该文介绍了$k$NN-LMs模型，将预训练的神经语言模型与$k$最近邻居模型线性插值，实现了一个新的最先进的困惑度为15.79，无需额外训练。作者认为这种方法在扩展到更大的训练数据和实现领域自适应方面具有作用，并在长尾系统的语言建模中是一种有效的方法。

kNN-LMs模型 knn 困惑度神经语言模型语言模型长尾系统领域自适应

原文中文，约300字，阅读约需1分钟。