利用神经分析和合成框架进行端到端神经歌手消声的歌曲数据清洗
内容提要
本文介绍了多种基于深度学习的歌声合成和转换系统，如NANSY框架、DeepSinger和WeSinger。这些系统通过自监督训练和创新模型设计，显著提升了合成歌声的质量和自然度，适用于多种语言和歌手。同时，研究探讨了在缺乏真实数据情况下的模拟训练方法，以提高音频分离技术的性能。
延伸解读
自监督训练在歌声合成中的优势
NANSY框架采用全自监督训练，无需瓶颈结构即可实现高重构质量和可控性。这种训练方式减少了对标注数据的依赖，为歌声合成和转换提供了更灵活的基础。同时，MakeSinger的半监督方法表明，即使缺乏目标歌手的歌声数据，也能通过TTS数据训练模型合成其歌声，这为数据稀缺场景提供了可行路径。
多语言与多歌手系统的技术特点
DeepSinger和WeSinger分别针对多语言和多歌手中文场景，通过自动化对齐、Transformer合成模型和24 kHz LPCNet等技术提升合成质量。WeSinger在Opencpop数据集上达到最先进性能，而N-Singer则专门针对韩语，利用Transformer和卷积网络分别建模语言和音高信息。这些系统展示了针对不同语言和歌手定制化设计的必要性。
数据模拟与特征融合提升分离性能
在缺乏真实对话数据时，通过模拟自然对话的交替方式可以优化EEND模型的训练，实验证明在CALLHOME和CSJ数据集上能提升性能。此外，基于Conformer的EEND模型结合ASR特征和声学特征，采用多任务学习，在Switchboard+SRE数据集上将DER降低了20%。这表明数据模拟和特征融合是提升音频分离效果的有效策略。
Q&A
NANSY框架的主要特点是什么？
NANSY框架具有高重构质量和可控性，采用全自监督训练方式，能够操作任意语音信号的声音、音高和速度。
DeepSinger系统的优势是什么？
DeepSinger是一个多语言、多歌手的歌唱声音合成系统，具有自动化对齐模型和基于Transformer的合成模型，支持多种语言和歌手。
WeSinger系统如何提高合成歌声的自然度？
WeSinger采用24 kHz LPCNet和多歌手预训练，通过定制模块和技术显著提高了合成歌声的准确性和自然度。
N-Singer系统是如何处理韩语发音的？
N-Singer通过Transformer-based mel-generator和卷积网络建模语言和音高信息，以实现更准确的韩语发音。
如何在缺乏真实数据的情况下优化EEND模型的训练？
可以通过模拟自然对话的方法来优化EEND模型的训练，这种方法考虑了交替对话方式。
MakeSinger半监督训练方法的优势是什么？
MakeSinger方法通过无分类器扩散引导，提高合成歌声质量，即使在无歌声数据的情况下也能合成TTS说话者的歌声。
