利用合成交错数据扩展语音文本预训练

本研究提出了一种新方法，通过生成合成交错数据，解决了传统语音语言模型在无监督数据不足时的扩展性问题，取得了语音建模和问答任务的最佳性能。