kNN 语言模型的可控生成的风格局部性
原文中文，约300字，阅读约需1分钟。发表于：。使用外部存储器改进的最近邻语言模型，通过检索相似的语境来辅助词语预测，添加局部级别使模型能够学习如何根据相对于源文件中当前文本的位置来加权邻居，从而进一步提高模型性能。我们提出了一种新的方法，并在礼貌、正式、支持性和毒性文本数据上进行自动和人工评估，发现我们的模型能够成功控制风格，并提供比以往更好的流利度 - 风格权衡。
该文介绍了$k$NN-LMs模型，将预训练的神经语言模型与$k$最近邻居模型线性插值，实现了一个新的最先进的困惑度为15.79，无需额外训练。作者认为这种方法在扩展到更大的训练数据和实现领域自适应方面具有作用，并在长尾系统的语言建模中是一种有效的方法。
