资源受限立体声唱声消除
内容提要
该文综述了音乐源分离的多项研究，包括对抗训练提升歌声分离真实感、多任务学习稳定语音分离、源依赖遮罩与循环推断、音视频融合分离、GAN与时频掩模框架、双耳自监督分离、训练数据质量与增强的影响、多人说话者分离网络，以及open-unmix结合数据增强提升歌手识别，并探讨掩蔽函数与深度递归网络的联合优化。
延伸解读
从通用分离到歌声专项的技术脉络
文章梳理的十项研究显示，歌声分离并非孤立任务，而是与语音分离、说话人分离共享技术底座。早期工作聚焦掩蔽函数与深度递归网络的联合优化（2015），随后对抗训练被用于提升分离输出的真实感（2017），源依赖遮罩与循环推断则试图摆脱后处理依赖。这些进展表明，歌声分离的改进往往来自通用分离框架的迁移与针对性调整，读者可据此理解不同方法之间的继承关系。
训练数据质量比模型结构更值得关注
一项针对半监督唱声分离的研究明确指出，训练数据集的分离质量和多样性是系统性能的关键因素，数据增强也被纳入考察范围。这与另一项利用open-unmix结合数据增强提升歌手识别的研究形成呼应：后者在艺术家20基准上取得显著提升。两处证据共同提示，在评估或复现歌声分离系统时，数据来源与增强策略的影响可能不亚于网络结构本身，值得优先核查。
多任务与跨模态思路的实用价值
文章提到将歌声活动检测作为辅助任务的多任务学习，实验显示分离与歌声检测均有较大改进；音视频融合方案则利用面部标记提取运动线索，在语音和唱歌两种场景实现低时延结果，并探讨了语音分离模型向唱声任务的可转移性。这些思路的价值在于：辅助任务可提供额外监督信号，视觉线索可在音频不足时补充信息，而迁移性研究则关系到能否复用现有语音数据训练歌声模型。
双耳与多人场景拓展了应用边界
除单声道分离外，文章还收录了面向耳机和助听器等双耳应用的两阶段自监督框架，以及从多人混合信号中分离目标说话者的系统。前者通过区域方式利用细粒度空间属性进行训练，后者结合说话人识别网络与谱掩蔽网络，可明显降低多人信号上的语音识别错误率。这表明分离技术正从离线音乐处理延伸到助听与多人对话等实时场景，但文章未给出这些方法在歌声任务上的直接验证。
Q&A
有哪些方法可以提升歌声分离的真实感？
可以使用对抗训练让分离器的输出更加真实，从而提升歌声分离效果。
多任务学习如何帮助语音分离？
利用多任务学习中的歌声活动检测作为额外任务，可以稳定和提高语音分离性能，并解决每个数据集特定的问题偏差。实验表明，与单任务相比，该方法在分离和歌声检测方面均有较大改进。
基于深度学习的歌声分离如何避免后处理？
通过学习和优化源依赖性遮罩，不需要使用后处理步骤，并引入循环推断算法、稀疏变换步骤和学习去噪滤波器，同时提高单声道歌声分离的性能。
音视频融合如何用于声音分离？
提出一种音频-视觉声音分离方案，在语音和唱歌场景中实现低时延的最新成果。模型基于两级网络，采用轻量级图卷积网络从面部标记中提取运动线索，然后将视觉和音频特征输入到音频-视觉转换器中，为目标源的隔离估计提供结果。第二阶段利用音频网络增强主要声音。
GAN和时频掩模如何结合进行人声分离？
利用生成对抗网络（GAN）和时频掩模函数提出新的人声分离框架，通过在对抗训练过程中进行混合谱分布和清洁谱分布之间的近似来进行分离，利用监督学习初始化参数并利用无监督学习进行优化，实验结果表明可以提高音频分离效果。
双耳音频分离有什么自监督方法？
提出一种两阶段的自我监督框架，旨在实现耳机和助听器等双耳应用中的音频语音分离。该方法通过区域方式将具有细粒度空间属性的自适应信号从底噪中分离出来进行训练，并表现出远超通用监督学习的性能。
训练数据集的特征如何影响半监督唱声分离？
训练数据集的分离质量和多样性是性能的关键因素，数据增强方法可以提升系统性能。
如何从多人说话中分离目标说话者的声音？
提出一个新颖的系统，通过两个神经网络训练：说话人识别网络和谱掩蔽网络。该系统可明显降低多人信号上的语音识别错误率，并在单人信号上最小限度地降低错误率。
open-unmix和数据增强如何提升歌手识别？
通过使用open-unmix工具进行人声与伴奏的分离，并通过数据增强来提升歌手识别模型准确性，同时采用人声旋律轮廓的音乐特征实现更好的表现，实验在benchmark数据集艺术家20上表现出显著提升。
掩蔽函数和深度递归网络如何联合优化用于源分离？
该研究探索了使用掩蔽函数和深度递归神经网络进行单声道源分离任务（包括单声道语音分离、单声道歌唱声分离和语音去噪）的联合优化。与现有模型相比，该方法在评估数据集中的任务中表现良好，并实现了较大的音频性能提升。
