NEST-RQ：用于语音自监督预训练的下一个令牌预测

本研究针对现有语音自监督学习方法在下游实时模型支持不足的问题，提出了一种新的基于下一个令牌预测的语音预训练方法NEST-RQ，该方法采用因果编码器与左侧上下文。在大规模数据集上，与BEST-RQ相比，NEST-RQ在非实时自动语音识别上表现出色，同时在实时自动语音识别中性能更佳，验证了下一个令牌预测在语音自监督学习中的可行性。