本研究提出了一种轻量级端到端文本到语音合成模型(LE2E),旨在解决现有模型在低资源设备上无法实时应用的问题。该模型在保持高音质的同时,计算资源消耗减少90%,实时处理速度提升10倍,展示了在低资源环境中实现高质量语音合成的潜力。
本研究提出了MoonCast,旨在解决现有文本到语音合成系统在生成长时间、多发言者和自发对话中的局限性。MoonCast结合了长上下文语言模型和自发性脚本生成模块,能够合成自然的播客风格演讲,实验结果表明其在自发性和连贯性方面显著优于传统方法。
本文研究了无监督文本到语音合成技术在改进口音语音识别中的应用。通过少量口音数据和伪标签生成合成语音,与无口音数据结合用于训练语音识别模型。实验表明,使用合成口音数据微调的Wav2vec2.0模型字错误率降低了6.1%。
VALL-E 2是最新的神经编解码模型,实现了人类水平的文本到语音合成,并引入了重复感知采样和编解码编组建模。实验结果表明VALL-E 2在语音鲁棒性、自然程度和说话者相似性方面超过了之前的系统,在LibriSpeech和VCTK数据集上取得了人类水平的合成效果,具有潜在应用价值。
本文介绍了一种基于面部图像的零样本文本到语音合成模型(Face-StyleSpeech),通过结合面部编码器和韵律编码器来生成自然语音。实验结果表明该模型在生成面部图像对应的自然语音方面胜过基准模型,甚至对未训练过的面部图像也有效。
完成下面两步后,将自动完成登录并继续当前操作。