从真实到克隆歌手的识别
内容提要
本文研究了歌声深度伪造检测，创建了名为SingFake的数据集，包含真实与伪造歌曲。评估了多种区分真实与合成语音的方法，并提出基于自监督学习的歌手身份编码器框架，提升了歌手识别的准确性。同时探讨了声音伪造的社会挑战，强调声音编辑的重要性，并提出新的挑战数据集和检测系统。
延伸解读
歌声伪造检测的独特挑战
与口语深度伪造检测不同，歌声伪造检测面临音乐背景、语言多样性和通信编解码器等额外干扰。SingFake数据集的构建填补了该领域真实数据的空白，其包含40位歌手5种语言的真实与伪造歌曲片段，为评估检测系统提供了基准。实验表明，在SingFake上训练能显著提升对抗系统的性能，但未知歌手和跨语言场景仍是难点。
从二元判断到声音编辑定位
传统声音伪造检测常将音频简单分类为真实或伪造，但本文主张这种二元范式过于简化。作者提出应关注“声音编辑”的定位，包括修改、过滤、剪辑以及文本到语音合成和语音变换等六类操作，并基于M-AILABS语料库构建了新挑战数据集和基线检测系统。这一转变有助于更细致地理解声音篡改，推动语音技术发展。
自监督学习提升歌手识别
本文提出的歌手身份编码器框架，利用自监督学习技术和数据增强，从大量孤立音轨中提取适用于歌声相似性和合成等任务的表示。在44.1 kHz下生成的嵌入质量优于说话人验证和wav2vec 2.0基线。在越南歌曲数据集上，结合声音分段和MFCC特征的方法达到了92.84%的歌手识别准确率，展示了该框架的实用潜力。
Q&A
SingFake数据集包含哪些内容？
SingFake数据集包含40位歌手的28.93小时真实歌曲和29.40小时深度伪造歌曲片段。
如何提高歌手识别的准确性？
通过自监督学习技术和数据增强训练歌手身份编码器，可以提取适用于各种歌唱相关任务的表示，从而提高识别准确性。
声音伪造对社会有哪些挑战？
声音伪造带来了重大社会挑战，尤其是需要从传统的二元范式转变为关注声音编辑，涉及修改、过滤、剪辑等。
在越南歌曲数据集上，识别歌手的准确率是多少？
在包含18位著名歌手的300首越南歌曲的数据集上，识别歌手的准确率达到了92.84%。
文章中提到的轻量级音频表示学习方法有什么优势？
这种轻量级方法可以减轻从真实世界音频中获取大规模数据的负担，并在标准音频分类基准上取得强大表现。
如何评估真实与合成语音的区分方法？
文章评估了四个最先进的口语对抗系统，发现相对于在口语测试数据上训练，在SingFake上训练有显著改进。
