本文探讨了提高非参数神经语言模型效率的方法，实验表明在保持性能的同时可提升推理速度6倍。引入的$k$NN-LMs模型结合了预训练神经语言模型与最近邻模型，取得了新的最先进困惑度。此外，研究显示检索增强语言模型在少数样本任务中表现优异，并提出了改进方法以提升模型在新领域的适用性。