kNN-LMs是将预训练的神经语言模型与k最近邻居模型线性插值的新模型，通过此方法在Wikitext-103 LM中实现了困惑度为15.79，提高了2.9点，无需额外训练。该方法在扩展到更大的训练数据和实现领域自适应方面也表现出良好效果。最近邻搜索在长尾系统的语言建模中是一种有效的方法。