言不足以表达：歌唱语音识别中的进展与挑战
内容提要
本文概述了深度学习在歌唱任务中的应用进展，包括歌声识别、深度伪造检测和歌声转换。研究表明，多任务学习和自监督学习能显著提升歌声分离和识别性能，并提出了针对特定数据集问题的解决方案。
延伸解读
歌声深度伪造检测的挑战与进展
文章提出了歌声深度伪造检测任务，并创建了首个真实数据集 SingFake，包含 40 位歌手 5 种语言的 28.93 小时真实歌曲和 29.40 小时深度伪造歌曲片段。评估显示，在 SingFake 上训练相比在口语测试数据上训练有显著改进，但仍面临未知歌手、通信编解码器、语言和音乐背景等挑战。这表明歌声伪造检测比口语检测更复杂，需专门数据集和进一步研究。
多任务学习与自监督学习提升歌声处理性能
文章指出，多任务学习（如将歌声活动检测作为辅助任务）能稳定并提高语音分离性能，同时解决数据集特定偏差。自监督学习也被用于训练歌手身份编码器，在 44.1 kHz 下产生高质量嵌入，优于说话人验证和 wav2vec 2.0 基线。这些方法在歌声分离、识别和合成等任务中展现出显著优势，尤其在领域外泛化方面。
歌声合成与转换系统的实际表现
DeepSinger 是一个多语言、多歌手的歌唱声音合成系统，利用自动化对齐和基于 Transformer 的合成模型。T13 系统在 2023 年歌声转换挑战赛中，针对跨域英语歌声转换任务，使用有限目标歌手数据实现了数据高效转换，并在大规模听测试中获得良好的自然度和说话人相似度。客观评估表明，跨域转换使用大规模数据集尤为有益。
Q&A
深度学习在歌唱任务中有哪些应用进展？
深度学习在歌唱任务中取得了显著进展，尤其在歌声识别、深度伪造检测和歌声转换方面，提升了精度和音质。
什么是SingFake数据集，它的用途是什么？
SingFake是第一个真实数据集，包含40位歌手的真实和深度伪造歌曲片段，用于评估深度伪造歌曲的检测。
多任务学习如何提升歌声识别性能？
多任务学习通过引入歌声活动检测作为额外任务，稳定并提高了语音分离性能，显著改善了分离和歌声检测效果。
DeepSinger系统的特点是什么？
DeepSinger是一个多语言、多歌手的歌唱声音合成系统，采用自动化对齐模型和基于Transformer的合成模型。
T13系统在歌声转换挑战赛中的表现如何？
T13系统在2023年歌声转换挑战赛中表现出色，尤其在跨域歌声转换任务中展现了良好的自然度和说话人相似度。
如何通过声音分段检测识别歌手姓名？
通过声音分段检测和唱声分离，利用Mel频率倒谱系数提取特征，构建歌手分类器，最终实现92.84%的准确率。
