本研究提出了一种新的微调方法，以减轻ASR误差对预训练语言模型的影响，实验结果显示该方法显著提升了口语理解性能。同时，研究探讨了低资源语言的自动语音翻译质量，发现预训练模型的词错误率是关键因素。通过多任务神经网络和后处理模型，进一步提高了ASR质量，并结合大型语言模型技术，改善了特定领域的ASR准确性。

本文介绍了一种轻量级的语言-语音预训练方法，利用知识蒸馏技术改善文本与音频的对齐，提出了PAD、L2KD、MiniLLM等新方法，在口语理解和语音识别任务中显著提升性能，有效解决了流式任务中的知识传递和模型适应问题。

本文介绍了大型语言模型（LLMs）在机器翻译中的进展，重点提高多语言场景下的口语理解准确率。研究涉及词汇扩展、优化偏好及低资源语言的数据问题，实验涵盖9种语言，结果显示新模型优于先前基准。此外，提出了针对东南亚语言的SeaLLMs系列，表现超越ChatGPT-3.5。研究还探讨了预训练语言模型的适应与调整，以及在欠资源语言中的应用。

本文综述多项语音自监督研究：HuBERT通过聚类与预测损失学习语音表示；后续工作引入主题标签、可视化探测、WaBERT、半监督语义理解、u-HuBERT、语音文本联合预训练、Fast-HuBERT、无监督语音到语义预训练及Cocktail HuBERT等，提升ASR、口语理解与多说话人任务性能。