MF-AED-AEC: 利用多模态融合、ASR 错误检测和 ASR 错误修正进行语音情感识别
内容提要
该文综述语音情感识别研究，重点探讨自动语音识别与情感识别结合的多模态、多任务方法，利用ASR系统、文本分类器及多任务预训练提升MELD、IEMOCAP等数据集上的识别性能，并增强低资源语言和噪声环境下的鲁棒性。
延伸解读
多模态融合与ASR纠错如何提升情感识别
文章指出，将ASR系统与文本分类器结合，通过模态转换方法，能显著提升MELD数据集上的情感识别性能，并超越纯语音方法。同时，利用ASR置信度改进错误检测，以及多任务预训练让声学模型更具情感感知，这些技术共同增强了系统在噪声环境和低资源语言下的鲁棒性。
低资源语言与噪声环境下的性能改进
针对低资源语言，文章提出语言特定的多预训练模型，结合多门机制和神经网络结构搜索，为德语和法语分别带来3%和14.3%的准确率提升。在噪声环境中，联合ASR-SER多任务学习能通过处理背景噪音，使模型比独立ASR和SER方法更具抗干扰性。
关键数据集与评估指标
研究在MELD、IEMOCAP和MSP-Podcast等数据集上进行。其中，多任务预训练方法在MSP-Podcast上达到价值预测的最佳一致性相关系数0.41。在IEMOCAP上，多模态融合模型和共同关注机制系统均取得了竞争性甚至最先进的性能，表明多模态方法在情感识别任务中的有效性。
Q&A
什么是Modality-Conversion方法？它在语音情感识别中有什么作用？
Modality-Conversion方法结合了自动语音识别（ASR）系统和文本分类器，用于增强MELD数据集上的情感识别绩效，并超越了现有的基于语音的方法。
多任务预训练如何提升语音情感识别的性能？
多任务预训练通过同时进行自动语音识别和情感分类任务来预训练SER模型，使声学ASR模型更加“情感感知”，并在MSP-Podcast数据集上达到了价值预测最佳的一致性相关系数（CCC）0.41。
在低资源语言中，如何提高语音情感识别的准确性？
针对低资源语言，可以设计语言特定的多预训练语音模型，采用多领域模型和多门机制，并通过神经网络结构搜索为每种语言寻找特定结构，引入对比辅助损失来构建更可分离的音频数据表示。实验表明，该模型为德语和法语分别提高了3%和14.3%的准确率。
ASR错误检测（AED）中如何利用置信得分？
研究提出基于ASR系统的置信得分来改善AED模型的性能，证明了置信得分的补充作用以及ASR Confidence Embedding的有效性和鲁棒性，并发布了一个包含有标记的LibriSpeech语料库的ASR输出的新型AED数据集。
多模态融合在语音情感识别中有哪些最新进展？
最新进展包括：使用文本和声学模态的早期融合和自我注意力，以及动态融合网络用于语音编码器，得到了目前最先进的性能结果；通过视角损失改进的多模态语音情感识别模型，融合音频和文本信息，在IEMOCAP数据集上获得了最新的最佳表现。
联合ASR-SER多任务学习在噪声环境下有什么优势？
联合ASR-SER多任务学习在低资源环境下，通过对背景噪音的处理，可以提高ASR词错误率和SER分类准确性，产生比独立ASR和SER方法更具噪音抗干扰性的模型。
