最近邻假设解码用于 LLM 生成和归因
内容提要
本文探讨了提高非参数神经语言模型效率的方法，实验表明在保持性能的同时可提升推理速度6倍。引入的$k$NN-LMs模型结合了预训练神经语言模型与最近邻模型，取得了新的最先进困惑度。此外，研究显示检索增强语言模型在少数样本任务中表现优异，并提出了改进方法以提升模型在新领域的适用性。
延伸解读
效率提升的实际意义
文章指出，通过优化非参数神经语言模型，推理速度可提升6倍，而性能保持相当。这意味着在实际部署中，此类模型能显著降低计算成本，提高响应速度，为实时应用和大规模服务提供可能。同时，这为后续开发更高效的非参数模型提供了实践指南。
kNN-LMs的性能突破
kNN-LMs将预训练神经语言模型与k近邻模型线性插值，在Wikitext-103上取得了15.79的困惑度，比之前最优结果提升了2.9点，且无需额外训练。这表明最近邻搜索能有效利用外部知识，尤其在长尾语言建模中具有优势，为语言模型性能提升开辟了新途径。
检索增强模型的领域适应优势
检索增强语言模型在少样本任务中表现优异，并能快速适应新领域。通过改进检索文本的词汇和语义匹配，以及调整插值系数，在Wikitext-103和PG-19上困惑度提升了近4%。这显示检索增强方法在领域适应中具有高效性和灵活性，适合动态变化的应用场景。
生成质量与解码挑战
尽管插值检索增强模型在预测下一个词时较准确，但对于开放式文本生成，质量并未相应改善。研究发现，当使用模型生成的文本作为查询时，检索分布的熵增加较快，可靠性下降。这提示未来需改进解码算法和插值策略，以提升生成文本的整体质量。
Q&A
如何提高非参数神经语言模型的效率？
通过引入$k$NN-LMs模型，可以在保持性能的情况下提高推理速度6倍。
$k$NN-LMs模型的主要特点是什么？
$k$NN-LMs模型结合了预训练神经语言模型与最近邻模型，取得了困惑度15.79的最先进成绩。
检索增强语言模型在少数样本任务中的表现如何？
检索增强语言模型在少数样本任务中表现优异，能够快速提高准确度。
如何提高模型在新领域的适用性？
可以通过适配器和重排序模块等方法来改进半参数最近邻语言模型的适用性。
检索文本的词汇和语义匹配对模型性能的影响是什么？
检索文本的词汇和语义匹配对性能有显著影响，成功提高了困惑度近4%。
基于分块的$k$NN-MT模型在机器翻译中有什么优势？
该模型在机器翻译中具有显著的速度优势，并支持域适应能力。
