SCANet: 自我和交叉注意网络用于音视频语音分离

该研究提出了一种基于多模态注意力的音视频语音识别方法，使用了最先进的Seq2seq架构，相对于单独的音频模态获得了2%到36%的提高。该方法在不同信噪比下，无论是清洁还是嘈杂的条件下，都能获得更好的识别性能，并可推广到其他多模态任务中。