可解释的多标签音频分割的代理模型

如何解释语音分类模型中单词相关音频片段对预测的影响？

通过在两个信息层面上对输入进行扰动，生成易于理解的解释，揭示每个与单词相关的音频片段对结果的影响，并回答“如果以这种方式编辑音频信号，模型的预测结果会是什么？”。该方法在英语和意大利语的两个语音分类任务上验证，解释准确且对人类可信。

深度聚类如何用于声源分离？

深度聚类是一种深度学习框架，通过使用光谱图嵌入进行声源分离，实现类无关的信号分离，大大降低了领域分割成本，并且不依靠类别给出类标签，具有将不同源集合的潜力。

音频处理网络的可解释性有哪些问题设置？

针对音频处理网络的可解释性提出两个主要问题设置：后续解释和设计解释。其中设计解释结合正则化中间嵌入和预学习NMF字典来生成直观的基于音频的解释，以增强与网络决策相关的输入信号的最相关部分，应用于多标签数据、真实世界音频和音乐等分类任务。

端到端说话人分割方法如何实现？

提出一种基于端到端模型的说话人分割方法，直接进行说话人划分，通过多标签分类解决此任务，同时可用于语音活动检测和重叠语音检测，且在多个数据集上都有显著的表现提升。

神经网络如何替代NMF进行监督源分离？

介绍了一种神经网络可以代替非负矩阵分解（NMF），并进一步展示如何用它实现监督源分离。由于这种方法的可伸缩性，展示了如何实现比NMF方法更好的源分离性能，以及提出了多种可用于进一步提高性能的衍生结构。

如何用掩蔽权重分解隐藏特征来解释深度神经网络？

通过使用掩蔽权重，可以将隐藏特征分解成几个输入限制的子网络，并训练成专家混合的增强模型，为复杂的机器学习模型提供说明，提高其效率，并实现了对合理解释进行推荐任务。

ECMVAE在音视频分割中有什么作用？

通过提出的明确条件多模态变分自编码器（ECMVAE）来进行音频-视觉分割（AVS），从有效的表示学习的角度解决现有AVS方法中的问题，关键词包括明确条件多模态变分自编码器、音频-视觉分割、表示学习、交叉模态共享表示和音源分割。

LRP如何用于分析语音分类依赖的特征？

使用layer-wise relevance propagation技术在音频领域内进行深度神经网络的解释性分析，并使用一个英语语音数字数据集对于语音数字和演讲者性别进行分类任务，通过对LRP得到的相关性分数进行假设和输入数据的系统操作，确认了在音频数据处理过程中的深度神经网络对相关特征的高度依赖性。

自动音乐标记的可解释性研究有什么发现？

探讨了可解释性在自动音乐标记领域的相关性，构建了一个包含三种不同信息提取技术的工作流程，并使用这些特征训练了一个可解释的机器学习模型进行标签预测。在MTG-Jamendo数据集和GTZAN数据集上进行实验，方法在两个任务中均超过了基线模型的性能，并在某些情况下展现出与当前最先进方法的竞争力。结论是在某些情况下，解释性的价值超过了性能的下降。

如何评价语义分割解释模型？

采用最近的无梯度Sobol解释模型方法对语义分割进行了实验，提出了一种基于可学习噪声模型的量化解释评价方法，在高分辨率卫星图像上运行和评估了三种XAI方法，包括Seg-Grad-CAM、Seg-Grad-CAM++和Seg-Sobol。