StyleSpeech:基于 VQ-VAE 的自监督风格增强与情感化有声书语音合成预训练
原文中文,约300字,阅读约需1分钟。发表于: 。通过 VQ-VAE 的自监督式预训练,我们提出了一种自我监督式风格增强方法,用于表达性有声读物语音合成,实验证明我们的方法能够有效地提高有声读物合成中合成语音的自然度和表现力。
本文介绍了利用变分自编码器(VAE)实现语音合成模型的端到端学习,通过无监督方式学习发音风格的潜在表示。VAE学习到的风格表示具有解缠、缩放和组合等特性,使得风格控制变得容易。通过VAE的识别网络推断出风格表示,然后将其馈入TTS网络来引导语音合成中的风格,实现风格转移。采用多种技术避免KL散度崩溃。该模型在风格控制上表现良好,并在风格转移的ABX偏好测试中优于全局风格令牌(GST)模型。