利用 LLM 生成的上下文描述提高领域特定自动语音识别
原文中文，约1400字，阅读约需4分钟。
📝
内容提要
本文提出了一种新策略，通过大型语言模型生成目标领域文本，并结合可控语音合成模型，显著提高自适应语音识别系统的性能。实验结果表明，该方法在未知领域的词错误率降低了28%，同时源领域性能保持不变。此外，研究探讨了上下文机制和深度学习模型在提升语音识别准确性方面的应用。
❓
Q&A
如何利用大型语言模型提高自动语音识别的性能？
通过生成目标领域文本和结合可控语音合成模型，可以显著提高自适应语音识别系统的性能。
该方法在未知领域的词错误率降低了多少？
该方法在未知目标领域上实现了平均相对词错误率降低28%。
如何通过上下文化的语音识别模型提高性能？
通过添加适配器的少量可训练参数，可以显著提高上下文化语音识别模型的性能。
使用预训练模型的自动语音识别系统与商业系统相比如何？
该系统即使在更高的字词错误率情况下，性能仍优于商业自动语音识别系统。
文中提到的零样本 ASR 领域适应方法有哪些？
文中介绍了两种使用 LLaMA 的零样本 ASR 领域适应方法，能够有效减少跨领域数据集上的词错误率。
如何通过上下文偏差改进 Whisper 模型？
通过引入 KG-Whisper 和 KG-Whisper-PT 方法，可以有效引导解码器，从而提高识别准确率。
🏷️
