一种非自回归生成框架用于端到端同步任意语音翻译
内容提要
本文介绍了一种非自回归流式Transformer（NAST），用于同时机器翻译（SiMT），通过新编码器和解码器降低延迟损失，实验证明其优于传统模型。此外，基于CTC的非自回归模型在语音翻译中显著提升了解码速度和翻译质量，展示了在多个基准测试中的优越性。
延伸解读
非自回归模型在语音翻译中的加速效果
文章指出，基于CTC的非自回归模型在语音翻译中显著提升了解码速度，达到5.67倍，同时BLEU分数为29.5，优于自回归模型。在直接语音到语音翻译中，结合预训练和知识蒸馏等技术，解码速度提升达26.81倍，翻译质量与自回归模型相当。这些数据表明非自回归方法在速度与质量权衡上具有潜力。
不同非自回归系统的性能对比
Orthros系统使用条件掩蔽语言模型和CTC模型作为非自回归解码器，在三个基准数据集上解码速度提高3.63倍，同时保持翻译质量。DASpeech采用双通路架构实现高质量翻译和极快解码。这些系统展示了非自回归技术在端到端语音翻译中的多样实现方式，但具体性能因架构和训练方法而异。
非自回归方法的适用场景与限制
文章提到，半自回归Transformer在翻译质量和解码速度之间实现了良好平衡，而基于Transformer的自动语音识别框架解码速度是经典自回归模型的58倍。然而，非自回归模型通常需要解决条件独立生成和单调对齐等问题，可能依赖预测感知编码和跨层注意力等方法。这些技术细节提示非自回归方法在追求速度时需注意对齐和生成质量的挑战。
Q&A
什么是非自回归流式Transformer（NAST）？
非自回归流式Transformer（NAST）是一种用于同时机器翻译的模型，通过新编码器和解码器降低延迟损失，实验证明其优于传统自回归模型。
NAST在解码速度和翻译质量上有何提升？
基于CTC的非自回归模型在语音翻译中提升了解码速度26.81倍，翻译质量与自回归模型相当，BLEU分数为29.5。
Orthros系统的工作原理是什么？
Orthros系统使用条件掩蔽语言模型和CTC模型作为解码器，通过两种训练方法增强解码器，实验表明其解码速度提高了3.63倍。
DASpeech模型的特点是什么？
DASpeech模型采用双通路架构，首先生成目标文本，然后根据隐藏状态生成目标语音，具有极快的解码速度和高质量翻译。
半自回归Transformer（SAT）如何平衡翻译质量和解码速度？
SAT模型在保持全局自回归属性的同时减轻了本地自回归属性，能够在每个时间步骤同时产生多个连续的词，从而实现良好的平衡。
基于非自回归生成器（NAST）的文本风格转换方法有什么优势？
NAST的无监督文本风格转换方法显著提高了性能，并提供可解释的单词对齐效果，减轻了内容保留问题。
