一种由歌声转换驱动的主动二重预防非法歌曲翻唱机制
内容提要
该文综述了歌唱声音转换与合成的研究进展，涵盖基于PPG和梅尔频谱的端到端模型、条件变分自编码器NSVB、歌手身份嵌入损失、DiffSVC扩散模型、CoMoSVC一致性模型、韩语歌声合成及WeSinger多歌手中文系统等方法，多数方法在自然度和相似度上优于基线。
延伸解读
歌声转换技术演进脉络
文章梳理了歌声转换从2020年到2024年的技术发展：早期基于PPG和梅尔频谱的端到端模型，随后出现条件变分自编码器NSVB、歌手身份嵌入损失、DiffSVC扩散模型、CoMoSVC一致性模型，以及韩语和中文多歌手系统。这些方法在自然度和相似度上不断优化，反映了该领域从基础建模到高效生成的快速迭代。
相似度仍是核心挑战
2023年声音转换挑战赛的听力测试显示，尽管顶级系统在自然度上达到人类水平，但没有团队在相似度上获得与目标歌手一样高的分数。这表明当前技术更擅长生成自然歌声，而在精确模仿目标歌手音色上仍有明显差距，是未来研究需要突破的关键点。
客观指标与主观感知的脱节
同一挑战赛还探讨了客观测量能否预测感知表现，发现只有很少一部分客观指标与主观评分达到显著相关。这意味着仅依赖客观指标评估歌声转换效果可能不够可靠，实际应用中需结合主观听测，以避免对系统性能的误判。
中文歌声合成的进展
WeSinger作为多歌手中文神经歌声合成系统，采用24 kHz LPCNet和多歌手预训练，在Opencpop语料库上取得最先进性能。这显示中文歌声合成在定制模块和技术推动下，准确性和自然度已有显著提升，为中文音乐生成应用提供了更可靠的基础。
Q&A
歌声转换中如何解决歌手音色专业性的问题？
通过引入条件变分自动编码器作为神经网络，提出NSVB算法，主要包括时间伸缩技术和基于隐变量的映射算法，能有效进行音高校正，并在客观和主观尺度上获得更好效果。
DiffSVC系统在歌声转换中有什么优势？
DiffSVC基于去噪扩散概率模型，使用语音后验谱图（PPG）等特征进行内容建模，并辅助使用基频和响度特征来辅助去噪。实验表明，其在自然度和语音相似度方面均优于当前最先进的SVC方法。
CoMoSVC方法如何实现高质量和高速的歌声转换？
CoMoSVC使用扩散原理的一种基于一致性模型的歌声转换方法，旨在实现高质量生成和高速采样，其推断速度明显快于最先进的扩散原理系统，并且在主观和客观指标上实现相当或更好的转换性能。
WeSinger系统在中文歌声合成上取得了什么成果？
WeSinger是一种新型的多歌手中文神经唱歌声合成系统，采用24 kHz LPCNet和多歌手预训练，通过定制的模块和技术大幅提高了合成歌声的准确性和自然度，在公共中文唱歌语料库Opencpop上取得了最先进的性能表现。
歌声转换挑战赛发现了哪些关于自然度和相似度的问题？
通过大型听力测试发现，除了顶级系统的自然度可达到人类水平，但没有团队能够获得与目标演讲者的相似度一样高的分数，并探讨了现有的客观测量是否能够预测感知表现，发现只有很少一部分能达到显著相关性。
如何在不依赖文本或音符的情况下进行歌声转换？
提出了一种基于深度学习的歌唱声音转换方法，不需要以文本或音符为条件，可直接将一个歌手的音频转换为另一个歌手的声音。通过使用单个CNN编码器和一个分类器来进行训练和模型改进，每个歌手都表示为一个嵌入式向量，以便检测其独特的音乐特征。通过使用数据增强技术以及新的训练损失和基于后转换的协议，该方法在较小的数据集上取得了良好的效果。
