CLIP-VAD：利用视觉语言模型进行语音活动检测

本研究解决了传统语音活动检测方法中对音频或视觉数据处理的局限。我们提出了一种新颖的方式，利用对比语言-图像预训练（CLIP）模型，通过分析视频段和自动生成的文本描述来执行检测。实验结果表明，该方法在多个基准测试中表现优异，超越了现有的视觉方法，并且在无需大量音视频数据预训练的情况下仍展现出卓越性能。