uSee: 条件扩散模型下的统一语音增强与编辑

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

该研究提出了一种无监督的语音增强方法,利用评分驱动扩散模型的生成能力,结合噪声模型进行后验采样。该方法相比最近的变分自编码器(VAE)无监督方法和最先进的基于扩散的监督方法,取得了有希望的结果。

🎯

关键要点

  • 该研究提出了一种无监督的语音增强方法,利用评分驱动扩散模型的生成能力。

  • 该方法结合噪声模型进行后验采样,解决了泛化到未见条件的问题。

  • 在训练阶段,使用评分驱动扩散模型学习干净语音的先验分布。

  • 通过将学习的干净语音先验与噪声模型结合,开发了语音增强的后验采样方法。

  • 噪声参数通过迭代的期望最大化方法与干净语音估计同时学习。

  • 这是第一个探索基于扩散的生成模型用于无监督语音增强的工作。

  • 该方法相比于变分自编码器(VAE)无监督方法和基于扩散的监督方法,取得了有希望的结果。

  • 为未来的无监督语音增强研究开辟了新的方向。

➡️

继续阅读