在端到端神经语音分离中利用说话者嵌入识别双方讲话的情景
原文中文,约200字,阅读约需1分钟。发表于: 。本研究通过将发言者信息嵌入到端到端系统中,提高了发言者辨识能力,并保持了处理语音重叠的优势,通过多种方法将这些嵌入与声学特征相结合。同时,对处理静默帧、提取发言者嵌入的窗口长度和变压器编码器尺寸进行了深入分析。在 CallHome 数据集上对双发言者分析任务进行了全面评估,结果表明相对于基准端到端模型,发现有了显著的降低对话错误率,相对提高了 10.78%。
该论文提出了一种基于编码器-解码器的吸引因子计算方法,用于支持不同数量的说话人,并利用自我注意力端到端神经说话人分离网络(SA-EEND)来提取讲话嵌入序列和生成说话人活动。实验结果表明,该方法在模拟的双说话人条件和未知说话人数量的条件下都取得了更好的说话人分离性能。