实时低信噪比音频视觉语音增强

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本文介绍了一种利用基于分数的生成模型的音频视觉语音增强系统。通过利用自我监督学习模型获得的音频视觉嵌入,将其合并到噪声条件分数网络中。实验评估表明,该系统在语音质量和减少生成物品方面具有改进效果,并减少了发音困惑。

🎯

关键要点

  • 本文介绍了一种基于分数的生成模型的音频视觉语音增强系统。
  • 该系统利用自我监督学习模型获得的音频视觉嵌入。
  • 音频视觉嵌入被合并到噪声条件分数网络中。
  • 实验评估表明该系统在语音质量和减少生成物品方面有改进效果。
  • 系统减少了发音困惑,支持了下游自动语音识别模型的单词错误率降低。
  • 在低信噪比情况下,该模型的单词错误率明显降低。
➡️

继续阅读