TDFNet：一种高效的音频 - 视觉语音分离模型与自顶向下融合
内容提要
本文综述音视频语音分离技术，重点介绍RTFS-Net递归时频分离网络。该网络在时频域建模音频并融合视觉信息，仅用10%参数和18%计算量即超越先前方法，是首个在时频域超越时域方法的音视频语音分离模型。
延伸解读
时频域建模的突破
RTFS-Net 首次在时频域中超越了所有当代时域方法，这标志着音视频语音分离领域的一个重要转折点。传统上，时域方法因能直接处理波形而受青睐，但 RTFS-Net 通过短时傅里叶变换产生的复杂时频区间，独立建模时间和频率，证明了时频域同样具有强大潜力。这一突破可能引导更多研究转向时频域，探索其可解释性和计算效率优势。
高效轻量的设计
RTFS-Net 仅使用 10% 的参数和 18% 的 MAC 就超越了先前最先进方法，显示出极高的参数效率。这意味着在资源受限的设备上，如助听器或移动终端，实时语音分离成为可能。这种高效性源于对时频域的精细建模和基于注意力的融合技术，为未来轻量化模型设计提供了新思路。
注意力融合视觉信息
RTFS-Net 引入了独特的基于注意力的融合技术，有效整合音频和视觉信息。视觉线索如唇部运动能辅助在嘈杂环境中锁定目标说话人。该融合机制利用声学特征的固有谱特性，实现更清晰的分离。这强调了多模态融合在语音分离中的重要性，并为后续研究提供了融合策略的参考。
Q&A
RTFS-Net是什么？它有什么主要创新？
RTFS-Net是一种基于时频域的音视频语音分离方法，全称递归时频分离网络。其主要创新在于：在短时傅里叶变换产生的复杂时频区间上独立建模音频的时间和频率，并引入独特的基于注意力的融合技术来整合音频和视觉信息，利用声学特征的固有谱特性实现更清晰的分离。
RTFS-Net在性能上相比之前的方法有哪些优势？
RTFS-Net仅使用10%的参数和18%的MAC（乘加运算次数），就超越了先前的最先进方法。它是首个在时频域中超越所有当代时域对应方法的音视频语音分离方法。
RTFS-Net是如何融合音频和视觉信息的？
RTFS-Net引入了独特的基于注意力的融合技术，以有效地整合音频和视觉信息，并利用声学特征的固有谱特性进行更清晰的分离。
音视频语音分离技术中常用的深度学习方法有哪些？
常用的深度学习方法包括：时域音频分离网络（TasNet）直接对信号建模；递归时频分离网络（RTFS-Net）在时频域建模；基于编码器-解码器的TDANet模拟自上而下注意力机制；基于扩散机制的AVDiffuSS；基于图卷积网络和转换器的低时延方案；以及自注意力网络（SCANet）等。
音视频语音分离中常用的数据集和评估方法有哪些？
常用的音视频数据集包括VoxCeleb2、LRS3、LRW和AVSpeech等。评估方法通常使用信噪比改进（如3dB+和4dB+）等指标，以及分类准确率等。
音视频语音分离技术面临哪些挑战？
挑战包括：在多说话人环境中鲁棒地分离目标语音；保持生成语音的自然性（如AVDiffuSS中提到的挑战）；实现低时延处理；以及有效融合音频和视觉模态等。
