Levenshtein 变换器及其变体的解码分析
内容提要
本文综述非自回归机器翻译进展，包括利用翻译记忆改进Levenshtein Transformer、提出支持插入删除的部分自回归模型以提升解码效率、分析Transformer解码器信息传递并精简前馈模块，以及引入词汇约束、词级质量评估、DSLP深度监督、潜变量模型和并行解码等方法，在保证翻译质量的同时显著加速推理。
延伸解读
非自回归解码的效率与质量权衡
文章综述的多项工作显示，非自回归机器翻译在提升解码速度的同时，往往面临翻译质量下降的挑战。例如，LaNMT 在 ASPEC 和 WMT 数据集上分别实现 8.6 倍和 12.5 倍的解码加速，但性能差距仍需通过并行解码和教师模型再评分来缩小至 1.0 BLEU。Levenshtein Transformer 通过插入和删除操作支持部分自回归，在效率与质量间寻求平衡。读者需注意，不同方法在速度与质量上的取舍各异，实际应用时应根据场景需求选择。
翻译记忆与词汇约束的实用增强
文章提到利用翻译记忆改进 Levenshtein Transformer，通过调整数据表示和引入删除操作提高解码效率，并减少多模态问题，无需知识蒸馏。此外，词汇约束算法可在推理时注入术语约束，不影响解码速度且无需修改训练流程。这些方法为实际部署提供了便利，尤其适合需要术语一致性的专业领域翻译。但需注意，其效果可能依赖于翻译记忆的质量和覆盖范围。
解码器结构优化与并行解码策略
针对 Transformer 解码器的分析表明，每层中的残差前馈模块可以取消而不影响性能，从而降低计算量和参数数量，提高训练和推理速度。同时，雅可比和高斯-塞德尔迭代方法被用于并行重构贪心自回归解码，速度提升最多达 38%。这些优化从模型结构和解码算法两个层面提升效率，但并行解码可能引入额外的协调开销，需在具体硬件上评估实际收益。
自回归与非自回归的再思考
文章最后指出，在编码器足够深的情况下，单层自回归解码器可以显著优于拥有相似推理速度的强大非自回归模型，认为自回归与非自回归之间的速度劣势在某些方面被高估。这一发现挑战了非自回归方法必然更快的传统认知，提示研究者和实践者应重新评估速度与质量的权衡，并为未来快速且准确的机器翻译研究建立了新的协议。
Q&A
Levenshtein Transformer 是什么？它有什么特点？
Levenshtein Transformer 是一种部分自回归模型，在线性时间复杂度内支持插入和删除操作，实现了互补的拆解和精细化设计，提高了机器翻译和文本自动编辑的效率。
如何利用 Translation Memory 改进 Levenshtein Transformer？
通过调整数据表示和引入额外的删除操作，提高解码效率；同时利用 Translation Memory 训练模型，减少多模态问题，无需使用知识蒸馏。
Transformer 解码器中每个模块如何传递信息？
通过开发通用探测任务分析发现，Transformer 解码器中每个模块对应不同的源信息和目标语前缀使用方式；每层解码器中的残差前馈模块可以被取消而不影响性能，从而降低计算量和参数数量，提高训练和推理速度。
如何在神经机器翻译中加入词汇约束而不影响解码速度？
提出一种简单有效的算法，在推理时注入术语约束，不影响解码速度，无需修改训练流程，使用自定义字典即可运行；在英德 WMT 数据集上提高了基线和之前方法的翻译质量。
DSLP 模型是什么？它有什么优势？
DSLP 模型通过深度监督和层次预测训练非自回归 Transformer，用于高效且高性能的机器翻译；与基础模型相比，始终改善 BLEU 得分，推理效率提高 14.8 倍。
LaNMT 模型在解码速度上表现如何？
LaNMT 是一种潜变量非自回归模型，具有连续潜变量和确定性推断过程，翻译长度自动适应；在 ASPEC Ja-En 数据集上解码速度比自回归算法快 8.6 倍，在 WMT'14 En-De 数据集上快 12.5 倍，且独立的并行解码和教师模型再评分可将性能差距进一步降至 1.0 BLEU point。
有哪些并行解码方法可以加速机器翻译？
使用雅可比和高斯-塞德尔迭代方法对标准贪心自回归解码进行并行重构，提出了三种并行解码算法，在不同语言和模型上测试，速度提升最多可达 38%，在并行资源上实现的速度几乎达到 2 倍；同时提出了解码依赖图可视化器（DDGviz）以理解模型条件依赖关系和检查解码过程。
单层自回归解码器与非自回归模型相比有何优势？
在编码器足够深的情况下，单层自回归解码器可以显著优于拥有相似推理速度的强大非自回归模型；自回归基准与非自回归方法之间的速度劣势在某些方面被高估，这些结果为未来研究快速且准确的机器翻译建立了新的协议。
