Apple Machine Learning Research
·
延迟融合：将大语言模型集成到端到端语音识别的首次解码中
💡
原文英文，约200词，阅读约需1分钟。
📝
内容提要
本文提出了一种高效的端到端自动语音识别解码方法，针对大语言模型在解码中的计算成本和词汇不匹配问题，采用“延迟融合”策略，减少LLM推理调用次数，从而提升解码速度和准确性。
🎯
关键要点
- 本文提出了一种高效的端到端自动语音识别解码方法。
- 大语言模型在解码中存在计算成本高和词汇不匹配的问题。
- 传统的浅融合方法在E2E-ASR解码中应用广泛，但存在实际问题。
- 提出的“延迟融合”策略可以减少LLM推理调用次数。
- 延迟融合方法允许在解码过程中对ASR假设进行重新标记。
- 实验结果表明，延迟融合在解码速度和准确性上优于浅融合和N-best重评分。
➡️
