通过 LLM 代理实现端到端同时语音翻译的人类水平
内容提要
本文探讨了同声传译中的自动语音翻译系统，比较了人类译员与机器翻译的差异，并提出利用大型语言模型（LLMs）进行实时翻译的新方法。研究表明，该方法在翻译质量和延迟方面具有优势，为多语言交流的民主化提供了新思路。同时，介绍了多语言语音文本翻译模型的开发及其性能提升。
延伸解读
同声传译自动化的核心挑战
文章指出，SimulST研究面临四大挑战：处理长时间连续语音流的复杂性、满足实时要求的困难、在翻译质量与延迟限制之间取得平衡、以及缺乏注释数据。这些挑战反映了同声传译场景对系统响应速度和准确性的双重高要求，也是当前研究需要突破的关键方向。
LLM为同声传译带来的新思路
研究提出利用大型语言模型（LLMs）的预测能力实现同声传译，通过预测发言者话语并在树状结构中扩展多种可能性来生成实时翻译。这种方法展现出灵活性和适应性，可能更有效地克服语言间的结构差异，实现更自然流畅且延迟更小的翻译。
数据策略与模型微调的实际效果
文章介绍了使用混合数据训练SimulST模型的方法，结合同声传译数据和离线双语数据，并加入风格标签指示输出风格。实验表明，在不同延迟范围内BLEURT指标有所改善，模型生成的同声传译风格输出多于基准模型。此外，对SiMT模型进行微调可在减少延迟的同时保持与离线训练模型相当的质量。
多语言端到端系统的技术路径
NAIST在IWSLT 2024评估中开发了多语言端到端语音文本翻译模型，结合预训练语言模型HuBERT和mBART，并采用本地一致性解码策略。其语音语音翻译方法以此为基础，结合音素估计、并行声学模型和并行WaveGAN声码器，升级的TTS模块有助于改善系统性能。
Q&A
大型语言模型在同声传译中如何应用？
大型语言模型（LLMs）通过预测发言者的话语并在树状结构中扩展多个可能性，实现实时翻译，展示了灵活性和适应性。
SimulST模型的训练方法是什么？
SimulST模型使用混合数据进行训练，结合同声传译数据和离线双语数据，并使用风格标签指示输出风格。
该研究如何提高翻译质量和减少延迟？
通过对Simultaneous Machine Translation（SiMT）模型进行fine-tuning，研究在减少延迟的同时保持翻译质量。
多语言语音文本翻译模型的开发有哪些关键点？
该模型结合了预训练语言模型HuBERT和mBART，并通过两种解码策略进行训练，最终采用本地一致性策略。
研究中提到的同声传译的主要挑战是什么？
主要挑战包括处理长时间语音流的复杂性、满足实时要求的困难、翻译质量与延迟的平衡以及缺乏注释数据。
该研究对未来同声传译研究有什么启示？
研究提供了对SimulST研究的见解，讨论了挑战和解决方案，为未来的探索提出了有希望的方向。
