透视对话：基于扩散模型的音频 - 视觉语音分离

本文介绍了一种基于扩散机制的音视频语音分离模型AVDiffuSS，能够从声音混合中提取目标发言者的声音，并提出了一种基于交叉注意力的特征融合机制。该模型在语音生成中集成语音视觉对应的语音信息，在 VoxCeleb2 和 LRS3 这两个基准测试上取得了最先进的结果，生成的语音音质更好。