卡内基梅隆大学的IWSLT 2024同步语音翻译系统
内容提要
本文讨论了多个团队在IWSLT评估中提交的语音翻译系统，包括USTC-NEL、ON-TRAC、UPC等。这些系统采用了HMM、Transformer和注意力机制等不同模型和技术，显著提升了BLEU分数，展示了语音翻译领域的进展与潜力。
延伸解读
语音翻译技术演进：从管道到端到端
文章回顾了IWSLT评估中多个团队的系统，清晰展现了技术路线的变迁。早期如USTC-NEL（2018）采用传统管道系统，依赖混合-HMM声学模型和Transformer机器翻译。随后，ON-TRAC（2020）和UPC（2021）等转向基于注意力机制的端到端模型，并引入Wav2Vec 2.0、mBART等预训练模型。这种演进反映了领域从模块化管道向联合优化端到端模型的趋势，旨在减少误差传播并提升整体性能。
预训练与数据增强成为性能提升关键
多个系统通过预训练和数据增强技术显著提升了BLEU分数。例如，UPC使用Wav2Vec 2.0和mBART，仅训练20%参数就达到27.3 BLEU，集成后提升至28.22；NiuTrans结合Conformer和相对位置编码，并采用数据扩充和集成解码，达到33.84 BLEU；YiTrans通过多阶段预训练和数据过滤等方法，在英德和英中方向名列第一。这些案例表明，充分利用大规模预训练模型和增强数据是当前提升语音翻译质量的有效途径。
同声传译中的延迟与质量权衡
同声语音翻译需要在延迟和质量之间取得平衡。ON-TRAC（2020）探讨了控制ASR+MT级联延迟的算法；Volctrans（2021）探索了最优wait-k模型，在相同延迟下超过基准约7 BLEU；YiTrans（2022）则展示了在线化离线模型在中高延迟区间优于2021年最佳同传系统，低延迟区间几乎持平。这些工作说明，通过算法优化，可以在可接受的延迟内实现接近离线的翻译质量，推动同传技术的实用化。
多语言与低资源场景的探索
针对多语言和低资源场景，研究者提出了专门方案。悉尼大学＆JD在IWSLT 2021低资源斯瓦希里语-英语任务中获得最佳分数，采用知识蒸馏、多特征重排和传导调整等技术，并尝试自回归与非自回归模型。NAIST在IWSLT 2024中开发了多语言端到端语音文本翻译模型，结合HuBERT和mBART，并扩展至语音语音翻译。这些努力旨在解决数据稀缺语言的翻译问题，推动技术包容性。
Q&A
IWSLT 2024中有哪些团队提交了语音翻译系统？
在IWSLT 2024中，NAIST团队提交了多语言端到端语音文本翻译模型。
USTC-NEL系统在IWSLT 2018的表现如何？
USTC-NEL系统在IWSLT 2018中实现了14.9的BLEU分数提升。
ON-TRAC Consortium在IWSLT 2020中使用了什么技术？
ON-TRAC Consortium在IWSLT 2020中使用了基于注意力机制的模型，并探讨了延迟-质量折衷的算法。
NiuTrans系统在IWSLT 2021中取得了什么成绩？
NiuTrans系统在IWSLT 2021中采用Transformer模型，最终达到33.84 BLEU点。
悉尼大学和JD在低资源语音翻译任务中取得了什么成就？
悉尼大学和JD在低资源语音翻译任务中获得最佳分数，采用了多种技术方法和新颖的预训练方法。
YiTrans系统在IWSLT 2022中的表现如何？
YiTrans系统在IWSLT 2022中通过多阶段预训练和数据增强等方法，性能优于去年的最优系统。
