语音标记器评估基准(STAB)
原文中文,约300字,阅读约需1分钟。发表于: 。本研究解决了语音标记器在特定后续任务中的性能评估不明确的问题,提出了系统化的评估框架STAB。该框架深入了解语音标记化的基本机制,提供了标准化的评估基准,有助于加速未来标记器模型的发展,并支持对不同标记器的比较分析。
我们提出了TokenSplit,一种在离散标记序列上操作的语音分离模型。该模型通过输入掩码实现多任务训练,包括将每个语音源进行分离和转录,并从文本生成语音。我们还介绍了模型的“修正”版本,该版本通过传统分离模型分离的音频标记预测增强音频标记。通过客观度量和主观MUSHRA听测,我们证明了我们的模型在分离方面具有优秀的性能,无论是否有转录条件。我们还测量了自动语音识别(ASR)性能,并提供了语音合成的音频样本来展示我们模型的附加效用。