谷歌Workspace推出新功能，包括Gmail的个性化智能回复，能够根据用户语气和上下文生成回复；Google Meet提供近实时低延迟语音翻译，支持多语言自然对话；Google Vids现已向订阅用户开放。

本研究提出了一种创新方法，利用大型语言模型提升国际口语翻译研讨会(IWSLT)中的语音翻译与指令跟随任务的性能。通过融合多个自动语音识别系统的输出，采用两步翻译和文档级精炼，显著提高了翻译质量。

本研究提出了Soundwave，一种高效的训练策略和新架构，旨在解决语音大型语言模型在语音与文本之间的表示空间差距和序列长度不一致的问题。Soundwave在语音翻译和AIR-Bench任务中表现优异，仅使用五十分之一的训练数据，仍能保持智能对话的表现。

本研究探讨了2024年12月至2025年1月的首次语音翻译指导（SpeechT），旨在填补该领域的指导空白。研究团队提出了一种系统化的方法，以提升语音翻译效果，为未来研究提供参考。

本研究探讨了传统级联语音翻译模型的局限性，并介绍了Google的Translatotron模型。该模型通过直接进行语音到语音的翻译，提高了翻译效率，减少了错误，尤其在弥合非洲语言与其他正式语言的障碍方面表现优异，具有重要的应用前景。

本研究提出了一种基于条件计算的特征融合框架，解决了自监督学习特征与传统频谱特征之间的冲突。该框架结合了门控网络和断开策略，提升了模型的鲁棒性和收敛速度。在MUSTC数据集上的语音翻译任务中，我们的方法与频谱模型表现相当。

本研究提出了一种利用多语言大型语言模型来解决零资源语音翻译和自动语音识别的挑战。通过结合预训练的语音编码器和轻量适配模块，系统在CoVoST2数据集上实现了超过23的BLEU分数和28.2%的错误率。

文章介绍了一种新扩散模型，通过在连续语音表示空间进行前向扩散和在离散语音单位空间进行后向扩散，保留语义结构并结合两种模型。在无文本直接语音翻译任务中，该方法将解码步骤从500减少到50，并取得了相当的效果。

本研究提出了一种创新的同步双语联结主义时间分类框架，通过双重 CTC 缩小语音翻译中的模态和语言差距。模型将转录和翻译作为并行目标，提升了音频与文本、源语言与目标语言的连接。在资源有限的情况下，增强的 BiL-CTC+ 变体表现出色，显著提高了语音识别性能，展示了跨语言学习的效果和广泛适用性。

本文介绍了一种在语音翻译中使用离散语音单元的自监督学习模型。通过在有限数据上微调，使模型更紧凑，推理更快。相比传统的自动语音识别预训练，该方法无需转录，适合资源有限的环境。在CoVoST-2 X-En数据集上，提升了0.5的BLEU得分，模型大小减半，效果与传统方法相当。

该论文研究了英文到台湾闽南语的语音翻译，包括数据收集、建模和发布基准数据集。通过人工注释、数据自动挖掘和伪标注方法，收集了大量数据。在模型训练中，结合自监督离散表示和普通话文本监督，取得了良好效果。最后，推出了一个S2ST基准数据集。

本文研究了使用Whisper作为多语言语音模型示例。通过语音编码器生成的话语表征，保留了一些语言敏感信息，但不同语言的单词映射到相似的语义空间。通过共享的嵌入空间，证明了零-shot跨语言转移在语音翻译中的应用。Whisper在使用英语到中文翻译数据进行微调后，在其他语言的输入话语上表现出性能提升。通过跨语言表示，Whisper可以对预训练过程中未见的语言进行语音翻译。

通过预训练、知识蒸馏和非自回归训练技术，基于CTC的非自回归模型在直接语音到语音翻译中实现了与自回归模型相当的翻译质量，并提升了26.81倍的解码速度。

该研究提出了一种改进神经机器翻译在语音翻译中稳健性的方法，通过注入真实输出中的噪声和结合拼音特征进行训练和测试，实验结果表明该方法在多个噪声测试集上表现优异，并在WMT'17中英测试集上取得了泛化性能的提高。

本文介绍了一种新颖的语音增强语言模型（SALM），具有多任务和上下文学习能力。SALM在自动语音识别和语音翻译等任务上表现出色，并通过关键词增强任务验证了其零-shot上下文学习能力。作者还提出了语音监督上下文训练方法，进一步提升了模型的上下文学习能力。