本研究提出了一种新的微调方法，以减轻ASR误差对预训练语言模型的影响，实验结果显示该方法显著提升了口语理解性能。同时，研究探讨了低资源语言的自动语音翻译质量，发现预训练模型的词错误率是关键因素。通过多任务神经网络和后处理模型，进一步提高了ASR质量，并结合大型语言模型技术，改善了特定领域的ASR准确性。

本文介绍了一种轻量级的语言-语音预训练方法，利用知识蒸馏技术改善文本与音频的对齐，提出了PAD、L2KD、MiniLLM等新方法，在口语理解和语音识别任务中显著提升性能，有效解决了流式任务中的知识传递和模型适应问题。

本文介绍了大型语言模型（LLMs）在机器翻译中的进展，重点提高多语言场景下的口语理解准确率。研究涉及词汇扩展、优化偏好及低资源语言的数据问题，实验涵盖9种语言，结果显示新模型优于先前基准。此外，提出了针对东南亚语言的SeaLLMs系列，表现超越ChatGPT-3.5。研究还探讨了预训练语言模型的适应与调整，以及在欠资源语言中的应用。