近期，吉卜力风格图像在社交媒体上流行。EasyControl通过轻量级技术简化创作，推出了吉卜力风图像生成Demo，用户可轻松将肖像转为宫崎骏风格艺术作品。

本文提出了一种半监督预训练方法，结合文本和语音信息，以检测自发行为标签并提升语音合成性能。研究开发了可控表达性语音合成模型FreeStyleTTS，支持从文本中检索风格。同时，提出了StyleTTS生成模型，利用自监督学习生成自然韵律的多样化语音，表现优于现有模型。整体目标是提升语音合成的表现和风格控制能力。

本文介绍了利用变分自编码器（VAE）实现语音合成模型的端到端学习，通过无监督方式学习发音风格的潜在表示。VAE学习到的风格表示具有解缠、缩放和组合等特性，使得风格控制变得容易。通过VAE的识别网络推断出风格表示，然后将其馈入TTS网络来引导语音合成中的风格，实现风格转移。采用多种技术避免KL散度崩溃。该模型在风格控制上表现良好，并在风格转移的ABX偏好测试中优于全局风格令牌（GST）模型。