实时低延迟音乐源分离使用混合的谱图 - TasNet
内容提要
该文综述语音与音乐分离技术，涵盖TasNet直接时域建模（适合实时低功耗）、端到端混合模型（获2021音乐分离挑战赛冠军）、MIMO-TasNet（保留空间信息）、Demucs（优于Conv-TasNet）、音视架构（提升目标说话人提取），以及DenseNet、Twin Networks、Spectro-Temporal Transformer和WildMix数据集等进展；Conv-TasNet显著提升多说话人分离性能。
延伸解读
实时低延迟分离的技术路线
文章指出，TasNet直接对时域信号建模，通过编码器估计源掩码再解码合成，适合实时应用且能在低功耗下完成分离。后续的Conv-TasNet进一步提升了多说话人分离性能，并具有较小的模型尺寸和更短的最小延迟。这表明，对于实时低延迟场景，时域端到端方法是一条被验证有效的技术路线。
音乐分离的模型选择与数据增广
在音乐源分离任务上，文章比较了Conv-TasNet和Demucs，结果显示Demucs通过恰当的数据增广技术，在分离效果和语音自然度上均优于Conv-TasNet。这提示读者，数据增广策略可能对音乐分离性能有显著影响，模型选择时需结合具体任务和数据条件。
多模态与空间信息的融合价值
文章提到，MIMO-TasNet能保留声源空间信息，实现实时修改声学场景；音视架构则利用视觉线索提升目标说话人提取，在两人和三人混合场景下分别带来3dB+和4dB+的信噪比改进。这些进展说明，融合空间或视觉等多模态信息，可以突破纯音频分离的局限，提升复杂环境下的分离性能。
数据集与模型架构的演进
文章还介绍了WildMix数据集，包含25个音频类别的现场录音，以及Spectro-Temporal Transformer等新模型。这些进展表明，更具挑战性的数据集和新型架构正在推动音频分离研究向更真实、更复杂的场景发展，读者可关注这些方向对实际应用的影响。
Q&A
TasNet 是什么？它为什么适合实时低功耗的语音分离？
TasNet 是一种时域音频分离网络，直接对信号进行建模，通过编码器输出估计源掩码，再经解码器合成。它适用于实时应用，并能在低功耗情况下完成语音分离任务，是当前最先进的语音分离算法之一。
Conv-TasNet 在语音分离上有什么突破？
Conv-TasNet 是一个端到端的深度学习框架，通过线性编码器和加权函数（掩码）显著提高了两个和三个扬声器混合声音的分离能力，优于多种时间-频率掩码方法，且模型尺寸小、延迟短，适用于离线和实时语音分离。
Demucs 和 Conv-TasNet 在音乐源分离上哪个更好？
实验结果表明，Demucs 模型通过采用恰当的数据增广技术，在音乐分离任务上优于 Conv-TasNet 模型，同时其语音自然度表现也更佳。
MIMO-TasNet 有什么特点？
MIMO-TasNet 是一种基于 TasNet 的多输入多输出语音分离算法，能够保留声源的空间信息，实现实时修改声学场景，并在不同声学场景中显著改善分离性能并保持位置感知。
音视架构在目标说话人提取中效果如何？
一种新的时间域音视图架构用于从单声道混合物中提取目标说话人，实验表明，相比于仅有声音的 TasNet 和频域音-视网络，该方法在两个和三个说话人的情况下分别可以提供 3dB+ 和 4dB+ 的信噪比改进。
Spectro-Temporal Transformer 和 WildMix 数据集是什么？
Spectro-Temporal Transformer 是一种用于混合音频源分离的新型模型，WildMix 是一个挑战性的新数据集，包含来自 25 个不同音频类别的现场录音，使用不同的组合策略混合。该模型在 WildMix 数据集上超过了各种基线模型。
