通过低比特率神经编码器和预训练表示学习的通用语音令牌

本研究解决了当前语音语言模型在语义令牌中忽视说话者的副语言特性的问题，提出了UniCodec，这是一种通用语音令牌学习方法，能够将语言和副语言信息整合为紧凑且语义解耦的统一令牌。研究结果表明，该方法在多语种数据集上表现出色，生成的自然语音能够有效保留副语言特征，提高了语音处理任务的输出质量。