uSee: 条件扩散模型下的统一语音增强与编辑
💡
原文中文,约400字,阅读约需1分钟。
📝
内容提要
该研究提出了一种无监督的语音增强方法,利用评分驱动扩散模型的生成能力,结合噪声模型进行后验采样。该方法相比最近的变分自编码器(VAE)无监督方法和最先进的基于扩散的监督方法,取得了有希望的结果。
🎯
关键要点
-
该研究提出了一种无监督的语音增强方法,利用评分驱动扩散模型的生成能力。
-
该方法结合噪声模型进行后验采样,解决了泛化到未见条件的问题。
-
在训练阶段,使用评分驱动扩散模型学习干净语音的先验分布。
-
通过将学习的干净语音先验与噪声模型结合,开发了语音增强的后验采样方法。
-
噪声参数通过迭代的期望最大化方法与干净语音估计同时学习。
-
这是第一个探索基于扩散的生成模型用于无监督语音增强的工作。
-
该方法相比于变分自编码器(VAE)无监督方法和基于扩散的监督方法,取得了有希望的结果。
-
为未来的无监督语音增强研究开辟了新的方向。
➡️