实时低信噪比音频视觉语音增强
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
本文介绍了一种利用基于分数的生成模型的音频视觉语音增强系统。通过利用自我监督学习模型获得的音频视觉嵌入,将其合并到噪声条件分数网络中。实验评估表明,该系统在语音质量和减少生成物品方面具有改进效果,并减少了发音困惑。
🎯
关键要点
- 本文介绍了一种基于分数的生成模型的音频视觉语音增强系统。
- 该系统利用自我监督学习模型获得的音频视觉嵌入。
- 音频视觉嵌入被合并到噪声条件分数网络中。
- 实验评估表明该系统在语音质量和减少生成物品方面有改进效果。
- 系统减少了发音困惑,支持了下游自动语音识别模型的单词错误率降低。
- 在低信噪比情况下,该模型的单词错误率明显降低。
➡️