BriefGPT - AI 论文速递 · 2024-06-06T00:00:00Z

RNN-T 语音识别模型在 GPU 上的光速准确贪婪解码

📝

内容提要

使用 CUDA 图形条件节点，优化了 RNN-T 模型的解码过程，将其速度提升 2.5 倍，同时可以应用于其他解码算法获得 1.7 倍至 1.4 倍的速度优化，使得高吞吐量推理中的 RNN-T 模型性能接近 CTC 模型。

🏷️

标签

gpu rnn