基于语言模型的具有可控自发行为的自发风格的文本语音合成
内容提要
本文提出了一种半监督预训练方法，结合文本和语音信息，以检测自发行为标签并提升语音合成性能。研究开发了可控表达性语音合成模型FreeStyleTTS，支持从文本中检索风格。同时，提出了StyleTTS生成模型，利用自监督学习生成自然韵律的多样化语音，表现优于现有模型。整体目标是提升语音合成的表现和风格控制能力。
延伸解读
半监督预训练如何提升自发行为建模
文章提出一种半监督预训练方法，结合文本和语音信息检测自发行为标签，并利用语言感知编码器建模对话中句子间关系。实验表明，该方法能提升表达性语音合成性能，具备对自发式语音的自发行为建模以及从文本预测合理自发行为的能力。这为语音合成中难以标注的自发行为提供了一种利用未标注数据的解决思路。
FreeStyleTTS：用语言模型实现文本驱动的风格控制
FreeStyleTTS利用大型语言模型的语义推理能力，从原始输入文本或用户定义的描述中检索所需风格，实现灵活、多功能且精确的风格控制，且所需人工注释极少。这降低了风格控制对参考语音或人工标注的依赖，使风格调整更直观，但文章未说明其具体性能指标或适用场景限制。
StyleTTS与潜变量模型：自监督学习自然韵律
StyleTTS是一种基于风格的生成模型，通过自监督学习表示发声风格，无需明确标记，即可生成具有自然韵律的多样化语音。在内部评估中，该模型在单人和多人语音数据集上均优于最先进的模型。此外，结合半监督概率潜变量模型的工作表明，仅监督1%数据即可可靠发现和控制情感、语速等属性，且合成质量无明显下降。
从预定义类别到环境决定风格：任务设置的演进
文章提到一项研究提出了新的任务设置：语音风格由特定环境决定，而非局限于情绪的预定义类别，并为此构建了综合数据集和生成高质量自然语音的框架。这反映了语音合成风格控制正从离散标签向更连续、上下文相关的方式发展，但文章未提供该框架的具体技术细节或评估结果。
Q&A
什么是FreeStyleTTS模型？
FreeStyleTTS是一个可控表达性语音合成模型，能够从文本中检索所需风格，具备最小人为注释的特点。
StyleTTS生成模型的主要特点是什么？
StyleTTS利用自监督学习生成自然韵律的多样化语音，表现优于现有模型，无需明确标记。
这项研究如何提升语音合成的表现？
研究通过结合生成型语言模型与TTS模型，提供合适的发音特征，以更好地表达不同的说话风格和对话语境。
半监督预训练方法的作用是什么？
半监督预训练方法结合文本和语音信息，检测自发行为标签，提升语音合成性能。
如何控制语音的音调和音高？
通过序列对序列神经网络方法，学习潜在韵律空间，控制音调、音高和语音能量等特征。
这项研究的创新点是什么？
研究提出了一种新颖的生成模型，结合神经文本到语音技术和半监督概率潜变量模型，能够可靠地发现和控制语音属性。
