该研究将预训练的神经语言模型与$k$最近邻居模型线性插值,提高了Wikitext-103 LM的困惑度2.9点至15.79,无需额外训练。该方法在扩展到更大的训练数据和实现领域自适应方面也表现出良好效果。作者认为最近邻搜索是长尾系统的有效语言建模方法。
该研究将预训练的神经语言模型与$k$最近邻居模型线性插值,提高了Wikitext-103 LM的困惑度至15.79,无需额外训练。该方法在扩展到更大训练数据和实现领域自适应方面也表现出良好效果。作者认为最近邻搜索是长尾系统语言建模中有效的方法。
完成下面两步后,将自动完成登录并继续当前操作。