语言模型听说能力
内容提要
本文介绍了一种基于大型语言模型（LLM）的生成对话系统，能够实现全双工实时对话，提升用户满意度。研究表明，LLM在语音理解和生成方面具有潜力，结合声学模型可实现更自然的交互。此外，提出的“textless”模型能够在无文本输入的情况下生成自然对话语音，展示了多模态模型在口语学习和对话生成中的应用前景。
延伸解读
全双工对话：从轮流到实时
文章指出，基于LLM的生成对话系统能以全双工方式同时处理听与说，通过时间分割多路复用和动态调整提供即时反馈，从而提升用户满意度。这区别于传统级联流水线中聊天机器人与TTS模块的分离处理，更接近人类语音生成中“思考如何回应”与“思考如何讲话”的并行过程。
无文本语音生成：dGSLM的突破
dGSLM是首个无需文字或标签即可生成自然对话语音的“textless”模型，采用双塔变压器与跨注意力机制，在2000小时对话录音上训练，能同时合成两个渠道的语音及附属特征。相比基于文本的级联模型，它表现出更自然流畅的交替发言，展示了多模态模型在口语学习与对话生成中的应用前景。
多模态并行生成降低延迟
多模式语言模型通过扩展输入输出序列，支持并行生成文本和语音，从而改善响应延迟并保持内容质量。在口语问答任务中，该方法还能通过生成多个语音序列进一步减少延迟。这为实时对话系统提供了兼顾速度与质量的可行路径。
SLM：高效适配弥合模态差距
联合语音与语言模型（SLM）冻结预训练的语音和语言基础模型，仅训练一个占1%（156M）参数的适配器，便在语音识别、翻译等传统任务上取得强大性能，并具备零样本指导能力，可完成对话生成、语音延续等任务。这表明预训练语音与语言模型间的表征差距可能比预期小，且能通过简单适应机制弥合。
Q&A
大型语言模型如何提升对话系统的用户满意度？
大型语言模型通过全双工实时对话和即时反馈，改善了用户与AI的交互体验，从而提升用户满意度。
什么是“textless”模型，它有什么特点？
“textless”模型是一种无需文本输入即可生成自然对话语音的模型，使用双塔变压器架构，经过大量对话录音训练，能实现更自然的交替发言。
如何将神经声学模型与大型语言模型结合？
通过将神经声学模型与大型语言模型融合，可以更自然地预测口语对话中的交替和回应位置，从而实现更流畅的对话。
多模态语言模型在响应生成中有什么优势？
多模态语言模型支持并行生成文本和语音，改善响应生成的延迟，同时保持响应内容的质量。
大型语言模型在口语学习中有哪些应用？
大型语言模型在口语学习中可以用于理解和应用口语知识，评估模型在音韵学和语音学方面的表现。
SLM模型的训练机制是什么？
SLM模型通过冻结预训练的基础模型，仅训练一个简单适配器，从而高效地保留模型能力并完成多样化任务。
