使用自监督技术学习歌手身份表示
内容提要
该文汇总多项语音与歌声转换研究：提出无文本条件的深度学习歌声转换，利用CNN编码器、歌手嵌入与数据增强提升小数据集效果；实现端到端波形级任意身份歌声转换；将自监督语音表征用于声音匿名化；综述自监督语音表示学习；以歌手身份嵌入损失改进歌声转换；证明语音预训练加微调可提升识别性能；用BERT语义嵌入增强歌声合成；在VoxCeleb上取得低EER；并探索混合音频表征。
延伸解读
自监督学习在歌手身份表示中的多维度应用
文章汇总的研究显示，自监督技术不仅用于歌声转换中的歌手嵌入学习，还扩展到声音匿名化、语音识别和歌声合成。例如，基于自监督语音表征的匿名化方法能维持低误识别率，但说话人验证性能会下降；而语音预训练加微调在有限标注数据下可提升识别性能。这些应用表明，歌手身份表示的学习与通用语音表征研究相互交织，但不同任务对身份信息的保留程度需求不同。
小数据集下的歌声转换：数据增强与损失设计
针对小数据集场景，一项研究通过单个CNN编码器和分类器学习歌手嵌入，并结合数据增强、新的训练损失以及基于后转换的协议来改进模型。另一项研究则提出用歌手身份嵌入网络（SIE）测量转换音频的相似度，作为损失函数的替代组件。这些方法共同指向一个思路：在数据有限时，通过更有效的身份表示和损失设计来提升转换效果，而非单纯依赖大规模数据。
性能表现与局限：从EER到匿名化的权衡
在VoxCeleb数据集上，使用预训练语音表示和可学习权重的平均表示进行自监督训练，自动说话人验证在三个官方测试中分别取得0.537%、0.569%和1.180%的等误差率（EER），超越了VoxSRC2021的优胜系统。然而，同一技术用于声音匿名化时，虽能维持低误识别率，却导致说话人验证性能下降。这提示读者，身份表示的高精度与隐私保护之间存在需要权衡的张力。
Q&A
有哪些不需要文本或音符条件的歌声转换方法？
论文提出了一种基于深度学习的歌声转换方法，不需要以文本或音符为条件，可直接将一个歌手的音频转换为另一个歌手的声音。该方法使用单个CNN编码器和一个分类器进行训练，每个歌手表示为嵌入式向量以检测独特音乐特征，并通过数据增强、新训练损失和后转换协议在较小数据集上取得良好效果。
如何实现端到端的波形级任意身份歌声转换？
论文提出了一种无需手动监督的端到端wav到wav生成模型，用于任意身份的歌声转换。该模型利用音响模型和提取的旋律特征来驱动基于波形的生成器，实验证明在音频质量方面显著优于基线方法。
自监督语音表征如何用于声音匿名化？
研究使用基于自监督语音表征的语音转换模型对声音数据进行匿名化处理。结果表明，匿名化后的语音可以维持原始语音低的误识别率，但说话人验证性能会下降。此外，该方法还能以匿名方式提取健康语言和病理语言之间的区别语音特征。
歌手身份嵌入损失如何改进歌声转换？
论文提出一种基于歌唱声音转换（SVC）的损失函数的替代损失组件，该组件通过歌手身份嵌入网络（SIE）来测量音频转换的相似度，在实验中表现出较好的转换效果。
语音预训练加微调能否提升语音识别性能？
研究首次证明，从语音音频中学习强大的表征，然后在经过转录的语音上进行微调，可以胜过最好的半监督方法，而且概念上更简单，示范了在有限标注数据情况下实现语音识别的可行性。
如何利用BERT语义嵌入增强歌声合成？
研究介绍了一种端到端的高质量歌声合成（SVS）系统，使用来自Transformers（BERT）的双向编码器表示衍生的语义嵌入来提高合成歌声的表现力。
在VoxCeleb上自监督说话人验证取得了怎样的性能？
使用预训练模型学习到的语音表示作为输入特征，采用可学习权重的平均表示方法，在VoxCeleb数据集上进行自监督训练，实现了自动说话人验证，在三个官方测试中分别取得了0.537%、0.569%和1.180%的等误差率（EER），超越了VoxSRC2021中的优胜系统。
混合音频表征是如何构建和应用的？
研究使用自我监督学习与深度神经网络等方法，探索提取声音和语音特征的最优表征，提出了多种编码器架构，并探讨了不同的预训练数据集。最后提出了一个新的训练框架，用于结合手工特征和数据驱动特征，得到一个混合音频表征。在HEAR毕业设计的听觉场景分类和时间戳检测任务中，实验表明使用混合模型和卷积变压器作为编码器在大多数任务中都具有更优越的性能。
