深厚记忆，浅薄推理：$k$NN语言模型的局限性
原文中文，约1300字，阅读约需3分钟。
📝
内容提要
本文介绍了$k$NN-LMs模型，该模型结合了预训练神经语言模型与$k$最近邻居模型，显著提高了语言模型的困惑度和推理速度。研究表明，检索增强的语言模型在新领域表现优越，且通过改进检索和模型架构可进一步提升性能。
❓
Q&A
$k$NN-LMs模型的主要特点是什么？
$k$NN-LMs模型结合了预训练的神经语言模型与$k$最近邻居模型，显著提高了语言模型的困惑度和推理速度。
使用$k$NN-LMs模型在Wikitext-103 LM中取得了什么成果？
在Wikitext-103 LM中实现了困惑度为15.79的最先进结果，提升了2.9点，无需额外训练。
$k$NN-LMs模型如何提高推理速度？
该模型在保持性能相当的情况下提高了6倍的推理速度。
检索增强的语言模型在新领域的适用性如何？
结合适配器和重排序模块等方法，$k$NN-LMs在新领域的适用性平均提高17.1%的困惑度。
检索文本的词汇和语义匹配对$k$NN-LM的性能影响如何？
研究表明，检索文本的词汇和语义匹配对性能有显著影响，困惑度提高近4%。
检索增强语言模型在问答任务中的优势是什么？
检索增强的LMs在不需要检索的情况下显著改善性能，并降低推理成本。
🏷️
