DiffSpEx是一种基于分数的生成建模的目标说话人提取方法,通过随机微分方程实现。它在短时傅里叶变换领域中部署连续时间的随机扩散过程,从目标说话人源开始并收敛到以源混合为中心的高斯分布。DiffSpEx展示了在WSJ0-2mix数据集上的潜力,并通过微调预训练模型实现了个性化的目标说话人提取。
DiffSpEx是一种基于分数的生成建模的目标说话人提取方法,使用ECAPA-TDNN目标说话人嵌入,并交替将分数函数调整到SDE时间嵌入和目标说话人嵌入上。它在WSJ0-2mix数据集上展示了潜力,实现了12.9 dB的SI-SDR和3.56的NISQA得分。预训练的DiffSpEx模型微调到特定说话人能进一步提高性能,实现了目标说话人提取中的个性化。
完成下面两步后,将自动完成登录并继续当前操作。