利用 LLM 生成的上下文描述提高领域特定自动语音识别
内容提要
本文提出了一种新策略，通过大型语言模型生成目标领域文本，并结合可控语音合成模型，显著提高自适应语音识别系统的性能。实验结果表明，该方法在未知领域的词错误率降低了28%，同时源领域性能保持不变。此外，研究探讨了上下文机制和深度学习模型在提升语音识别准确性方面的应用。
延伸解读
方法核心：LLM生成文本与可控语音合成
文章提出的策略核心是利用大型语言模型生成目标领域的文本语料，再通过可控语音合成模型生成对应语音，从而构建适配数据。这种方法避免了对目标领域真实语音数据的依赖，为领域自适应提供了新思路。实验表明，该策略在未知目标领域上实现了平均相对词错误率降低28%，且源领域性能没有下降，说明其有效性和稳定性。
性能提升与参数效率
通过添加适配器的少量可训练参数，预训练LLM能够获得上下文化的语音识别能力，并在保持文本输入功能的同时显著提升性能。这意味着在实际部署中，无需对整个大模型进行微调，仅需训练少量参数即可适应新领域，降低了计算成本和存储开销，为资源受限场景提供了可行方案。
领域自适应中的挑战与局限
尽管LLM在ASR领域自适应中展现出潜力，但文章也指出，利用LLM的上下文学习能力来修正语音识别转录中的潜在错误仍是一项具有挑战性的任务。此外，零样本方法虽然能减少跨领域词错误率，但深度LLM融合在实体召回和词汇外单词召回上具有优势，暗示不同方法各有侧重，实际应用中需根据场景权衡。
Q&A
如何利用大型语言模型提高自动语音识别的性能？
通过生成目标领域文本和结合可控语音合成模型，可以显著提高自适应语音识别系统的性能。
该方法在未知领域的词错误率降低了多少？
该方法在未知目标领域上实现了平均相对词错误率降低28%。
如何通过上下文化的语音识别模型提高性能？
通过添加适配器的少量可训练参数，可以显著提高上下文化语音识别模型的性能。
使用预训练模型的自动语音识别系统与商业系统相比如何？
该系统即使在更高的字词错误率情况下，性能仍优于商业自动语音识别系统。
文中提到的零样本 ASR 领域适应方法有哪些？
文中介绍了两种使用 LLaMA 的零样本 ASR 领域适应方法，能够有效减少跨领域数据集上的词错误率。
如何通过上下文偏差改进 Whisper 模型？
通过引入 KG-Whisper 和 KG-Whisper-PT 方法，可以有效引导解码器，从而提高识别准确率。
