用扰动的 kNN-MT 生成多样化的翻译
内容提要
本文综述了kNN-MT机器翻译的研究进展，主要包括：提出信心增强模型以提升鲁棒性；利用元k网络动态确定k值以过滤噪声；结合多层感知器降低检索开销；分析适配器与kNN-MT结合可媲美微调；提出基于表示相似性搜索的免训练方法；通过对比学习构建紧凑网络提高检索效率；提出句子级检索框架提升解码存储效率；引入gating机制改进基线模型；采用前置NN搜索结合知识蒸馏解决过度纠正；提出分块kNN-MT模型兼顾速度与域适应。
延伸解读
kNN-MT 的鲁棒性挑战与改进
文章指出 kNN-MT 存在性能下降问题，并提出了信心增强模型，结合鲁棒训练和两种扰动方式，在基准数据集上实现了显著改进和更好的鲁棒性。这表明 kNN-MT 在实际应用中可能面临噪声和扰动的影响，而通过增强模型信心和鲁棒训练可以有效缓解。
动态 k 值与噪声过滤
针对 kNN-MT 检索结果中的噪声，研究提出了使用轻量级元 k 网络动态确定每个目标令牌的 k 值的方法。该方法能有效过滤噪声，并在四个基准机器翻译数据集上显著优于传统 kNN-MT，且在其他领域具有普适性。这提示动态调整 k 值可能是提升 kNN-MT 性能的关键。
检索效率与存储优化
为降低 kNN 检索开销，文章提到结合多层感知器减少冗余检索操作，以及基于句子级检索的框架提高解码和存储效率。这些方法在轻微影响翻译质量或保持性能的同时，显著提升了效率，适合资源受限或需要快速领域自适应的场景。
与微调方法的比较及适用场景
文章分析表明，在特定情况下，结合适配器的 kNN-MT 能达到与域内微调相当的翻译性能，并在域外测试集上表现更好。此外，免训练的 kNN-MT 方法通过表示相似性搜索，无需额外训练即可适应不同领域。这为需要快速部署或多领域适应的场景提供了新选择。
Q&A
kNN-MT 是什么？它有什么主要优势？
kNN-MT 是一种基于 k 最近邻的机器翻译方法，它基于神经翻译模型的表示进行相似性搜索，不需要额外训练，适用于广泛的场景，并且可以通过使用特定于域的数据存储库来适应不同的领域，显著提高翻译性能。
kNN-MT 存在哪些性能问题？如何解决？
kNN-MT 存在性能下降问题，可以通过信心增强的 kNN-MT 模型解决，该模型结合鲁棒训练和两种扰动方式，在基准数据集上实现显著改进和更好的鲁棒性。
如何动态确定 kNN-MT 中的 k 值以过滤噪声？
可以使用轻量级的元 k 网络动态确定每个目标令牌的 k 值，该方法能有效过滤检索结果中的噪声，并显著优于传统的 kNN-MT 模型，在四个基准机器翻译数据集上得到验证。
kNN-MT 如何降低检索开销？
通过提出的多层感知器神经网络与 kNN-MT 系统结合，成功减少了冗余的检索操作，并显著降低了 kNN 检索的开销，虽然会导致轻微的翻译质量下降，但该方法可以与所有现有的 kNN-MT 系统配合使用。
kNN-MT 与适配器结合的效果如何？
在特定情况下，结合 kNN-MT 和适配器的方法能够实现与在域测试集上微调相当的翻译性能，并在域外测试集上取得更好的性能，同时，优化上下文表示可以弥补低频特定领域词汇召回方面 kNN-MT 与微调的差距。
如何提高 kNN-MT 的检索效率？
可以通过在聚类的基础上通过对比学习的方式构建紧凑网络，提高检索效率，并在大型数据集上取得更好或相当的性能表现，同时对于不同领域的通用性很强。
kNN-MT 如何实现快速领域自适应？
提出了一种基于句子级检索的最近邻机器翻译框架，用于快速领域自适应，该框架旨在大大提高 kNN-MT 模型的解码和存储效率，并且不会影响翻译性能。实验证明，该框架不仅能够达到与 NMT 模型相同的速度，且能够显著减少存储要求。
如何改进基线翻译模型以提升性能？
研究探究了在微调阶段引入 kNN 预测的统计数据来提高基线翻译模型，发现通过引入 gating 机制，kNN 的真实概率和强化学习三种方法，相比于传统的微调，可以在四个标准机器翻译数据集上实现一致的改进，尤其于翻译语法关系或功能词时表现出更大的提升。
如何解决机器翻译中的过度纠正问题？
提出一种改进机器翻译模型的方法，即将 NN search 前置，并通过最近邻知识蒸馏（NN-KD）训练基本 NMT 模型直接学习 NN 知识，可以更好地解决机器翻译中的过度纠正问题，并在保持训练和解码速度不变的情况下，实现了比 NN-MT 等现有方法更好的结果。
kNN-MT 如何兼顾速度与域适应？
提出了一种新的基于分块的 kNN-MT 模型，在机器翻译领域中具有显著的速度优势，同时实现了对域适应能力的支持。
