极端编码器输出帧率降低：改善大规模端到端模型的计算延迟
内容提要
本文综述端到端流式语音识别研究，涵盖FastEmit、Conformer、级联编码器等算法，通过多任务模型统一ASR与端点探测、8位定点量化压缩模型、延迟惩罚与最小词错误率训练、数据多样化提升泛化、LAS两步流程、神经分割器与级联编码器统一等方法，在低延迟下提升识别质量。
延伸解读
多任务统一：ASR与端点探测的融合
文章提到通过引入“开关”连接，将语音识别（ASR）和端点探测（EP）训练为单一端到端多任务模型，并利用ASR音频编码器的信息提升EP质量。这种方法旨在减少延迟并改善连续语音识别的识别率，为流式场景下的实时交互提供了新思路。
模型压缩：8位定点量化的实践
研究通过减少神经网络数字精度，将基于Transformer的端到端语音识别模型压缩至8位定点精度，参数数量减小，模型进一步压缩4倍，同时维持高精度。这为在资源受限设备上部署大规模模型提供了可行方案。
延迟优化：训练技巧与流程改进
文章综述了多种延迟降低技术，包括延迟惩罚技巧、最小词错误率训练、单向注意力机制等。其中单向注意力机制在语音翻译任务中降低83%延迟，仅牺牲1%的WER。此外，将Listen, Attend and Spell模型作为第二步流程，可提升流式模型性能至传统系统水平。
级联编码器与神经分割器的统一
最新研究将神经分割器与两次级联编码器ASR统一为单个模型，集成因果一次传递解码器以实时发出分段结束信号。通过虚拟帧注入策略，在YouTube长形字幕任务中，相比基线VAD分割器，获得了2.4%的相对WER和140毫秒的EOS延迟增益。
Q&A
如何通过多任务模型同时进行语音识别和端点探测来降低延迟？
通过引入“开关”连接，将语音识别（ASR）和端点探测（EP）训练为单一的端到端多任务模型，并利用ASR音频编码器的信息提高EP质量，从而减少延迟并改善连续语音识别的识别率。
有哪些方法可以压缩端到端语音识别模型并保持高精度？
可以通过减少神经网络的数字精度，例如将数字精度减少到8位定点精度，将全精度模型的参数数量减小并将模型进一步压缩4倍，同时维持模型高精度。
延迟惩罚技巧和最小词错误率训练如何提升端到端模型质量？
使用延迟惩罚技巧和最小词错误率训练技术可以减少端到端模型延迟，并在语音识别方面展示出重要改进。
如何增强端到端语音识别模型对未知领域数据的泛化能力？
通过多样化训练数据以及LSTM状态操作模拟长形音频，可以增强端到端语音识别模型对未知领域数据的泛化能力。
Listen, Attend and Spell模型如何作为第二步流程提升流式模型性能？
加入Listen, Attend and Spell模型作为第二步流程，可以将端到端流式模型的性能提高至与传统语音识别系统相当，同时也满足计算和响应延迟等约束条件。
神经分割器与级联编码器如何统一为单个模型以实现低延迟？
将神经分割器与两次级联编码器ASR统一为单个模型，神经分割器与因果一次传递解码器集成以实时发出分段结束（EOS）信号，并采用虚拟帧注入策略最终确定第二遍，从而同时实现高质量的第二遍结果和低延迟。在YouTube长形字幕任务中，比基线VAD基于分割器使用相同的级联编码器获得了2.4%的相对WER和140毫秒的EOS延迟增益。
