使用Whisper编码的歌声深伪检测

本研究针对音乐行业艺术家面临的歌声深伪生成问题，提出了一种歌声深伪检测（SVDD）系统，利用开放AI的Whisper模型的噪声变体编码。关键发现显示，尽管Whisper模型具有抗噪声特性，其编码在深伪检测任务中仍提供了丰富的非语音信息，显著提高了检测性能，尤其是在不同条件下应用不同规模的Whisper模型和两种分类器CNN及ResNet34时。