零样本音频情感转换与说话人解缠
内容提要
该文综述多项语音风格转换与合成研究，涵盖零样本情绪可控TTS、解缠表示学习语音转换、虚拟代理行为风格建模、情感语音数据增强、潜在风格空间矢量算术跨说话人情感转移、自监督离散单元零样本跨语言语音翻译风格转换、扩散模型零样式转换、通用零样本说话人自适应TTS与声音转换、自监督表示零样本TTS及少样本音频到意图分类。
延伸解读
零样本情感转换的两条技术路径
文章呈现了零样本情感语音转换的两种思路：一是ZET-Speech用域对抗学习和扩散模型引导，直接合成目标情感；二是基于解缠表示学习，将内容与风格分离后组合。前者侧重情感可控合成，后者强调在无先验和非并行数据下转换音色。两者都试图解决未见说话者的泛化问题，但技术路线不同，读者可关注其适用场景差异。
情感数据增强与风格空间操作
针对情感语音识别数据不足，EmoAug通过情感样式转移增强音频数据，并应对数据不平衡。另一项研究则在潜在风格空间中使用矢量算术，仅需少量标记样本即可从阅读风格生成情感语音，且情感强度可调、说话人身份保留。这两种方法分别从数据扩充和表示空间操作入手，为低资源情感语音处理提供了可借鉴的思路。
跨语言风格转换与说话人解缠
直接语音到语音翻译虽准确率高，但难以保留源说话人音色。文章提出的框架结合自监督离散单元和神经编解码器，利用声学语言模型的上下文学习实现风格转换，无需说话人平行数据，并能在未见源语言上做零样本跨语言风格转换。这表明自监督表示在解缠说话人音色与语言内容方面具有潜力，但实验仍限于特定语言对和数据集。
零样本说话人自适应的通用化尝试
通用零样本说话人自适应TTS与声音转换模型采用解耦表示学习提升普适性，并用变分自编码器增强说话人编码器，在未知说话者上表现更好。另一项工作用自监督语音表示做条件控制，并分离调制声学特征与音素时长预测器。这些尝试共同指向一个目标：在未见说话者上保持自然度和相似度，但实际部署仍需考虑数据覆盖和计算成本。
Q&A
ZET-Speech 是什么？它主要解决什么问题？
ZET-Speech 是一个零样本适应情绪可控的 TTS 模型，旨在实现对任何说话者情感语音的合成。它采用域对抗学习和扩散模型的引导方法，实验表明能成功合成所需情感的自然和情感语音，适用于已知和未知说话者。
如何在没有先验知识和非并行数据的情况下进行零样本语音转换？
可以通过基于解缠表示学习的方法，在输入语音的内容嵌入和目标样式嵌入之间进行组合来实现对新声音的转换。该方法在 VCTK 数据集上验证，并在许多对多和零样本实验上展现出最新的标志性结果。
EmoAug 是什么？它在语音情感识别中有什么作用？
EmoAug 是一个情感样式转移模型，用于增强音频数据的情感表达，包括应对数据不平衡问题。实验表明，该模型在提取语音情感特征方面的效果显著优于现有方法。
跨说话人情感转移如何实现且能控制情感强度？
通过潜在风格空间中的矢量算术方法，可以使用仅有的几个标记样本从阅读风格语音生成情感语音，并且情感强度可以轻松控制，同时保留说话人的身份。实验结果表明这种方法在表达性、自然度和可控性方面具有优越性。
直接语音到语音翻译中如何保留说话人音色并进行风格转换？
提出一个基于自监督模型的离散单元和神经编解码器的 S2ST 框架用于样式转换。声学语言模型利用自监督的上下文学习获得样式转换能力，无需依赖任何说话人平行数据，从而克服数据稀缺问题。使用大量训练数据后，模型可以在之前未见过的源语言上进行零样本跨语言样式转换，生成的翻译语音在高保真度和样式相似性上表现出色。
零样本音频到意图分类如何利用少量样本泛化到未见意图？
使用仅有每个意图几个样本文本句子的泛化零样本音频到意图分类框架，该框架使用只有音频的数据，通过训练有监督的音频到意图分类器和利用神经音频合成器生成音频嵌入，使用余弦相似度对未见过的意图进行泛化零样本分类，并通过多模态训练策略将词汇信息融入音频表征来提高泛化零样本性能。相较于仅使用音频训练，多模态训练方法提高了 SLURP 和内部目标导向对话数据集上未见过的意图的零样本意图分类准确率分别为 2.75％和 18.2％。
