野外录制的语音信息中的语音情感识别
内容提要
该文汇总多项语音情感识别研究，涵盖EMOVOME西班牙语真实对话数据集、评估准则、EMSpeech合成模型、增强策略、自监督端到端系统、EmoDistill跨模态蒸馏、低资源多语言方法、Transformer表征评估、CusEmo客服数据集及跨媒介融合方法，推动情感识别发展。
延伸解读
野外语音情感识别的数据挑战
文章指出，野外环境下的情感识别面临真实对话数据稀缺的问题。EMOVOME数据集包含999条来自100位西班牙使用者的即时消息语音，具有性别平衡特点，为西班牙语野外情感识别提供了基线。这类数据比实验室录制更贴近实际应用，但标注和评估难度也更高，读者需注意其语言和场景的局限性。
自监督与跨模态蒸馏的技术趋势
文章汇总的研究显示，自监督特征和跨模态知识蒸馏正成为提升语音情感识别性能的重要方向。例如，自监督端到端系统仅用语音就达到多模态SOTA水平；EmoDistill在训练时从语音中学习语言和韵律表示，推断时仅用语音，降低了计算开销。这些方法试图在保持性能的同时简化推理流程。
低资源语言与跨语言评估的进展
针对低资源语言，文章提到一种语言特定的多预训练模型方法，通过多门机制和神经网络结构搜索为每种语言寻找特定结构，在德语和法语上分别提升3%和14.3%的准确率。另一项跨语言评估发现，仅使用Transformer语音模型最优层的特征，平均降低7个数据集上32%的错误率，表明中间层对捕捉情感信息至关重要。
实际应用中的评估与融合策略
文章还涉及客服场景的CusEmo数据集和跨媒介融合方法。CusEmo研究指出，将共情水平等情境信息通过多任务学习整合可提升模型性能，但需确定合适的标签采样率和输入段长度。跨媒介融合方法结合文字和语音特征，在IEMOCAP上表现优于其他方法。这些工作提示读者，实际部署需关注数据特性与多模态信息的有效利用。
Q&A
EMOVOME数据集是什么？它有什么特点？
EMOVOME是一个包含999条语音信息的数据集，来自100位西班牙使用者在即时消息应用上的真实对话，具有性别平衡。该数据集为野外环境下的情感表达提供了基线，包括语音特征和文字特征的情感识别模型的准确率评估，对野外情感识别研究和西班牙语资源有重要贡献。
EmoDistill框架是如何工作的？它的性能如何？
EmoDistill是一个语音情感识别框架，利用跨模态知识蒸馏在训练期间从语音中学习强大的语言和韵律情感表示。在推断时仅使用语音信号进行单模态识别，减少计算开销并避免运行时转录和韵律特征提取错误。在IEMOCAP基准上，它实现了77.49%的非加权准确率和78.91%的加权准确率，优于其他单模态和多模态技术。
在低资源语言的情感识别中，有哪些提高准确率的方法？
针对低资源语言，提出了一种语言特定的多预训练语音模型情感信息提取方法，设计多领域模型，采用多门机制，并通过神经网络结构搜索为每种语言寻找特定结构，引入对比辅助损失构建更可分离的音频表示。实验表明，该模型为德语和法语分别提高了3%和14.3%的准确率。
基于Transformer的语音表示模型在情感识别中的表现如何？
研究使用八种语音表示模型和六种语言，首次全面评估了基于Transformer的语音表示模型在跨多种语言语音情感识别中的性能。结果表明，仅使用语音模型最优层的特征比使用所有层平均降低了7个数据集上32%的错误率。中间层对捕捉情感信息至关重要，并在德语和波斯语上取得了最新成果。
CusEmo数据集是什么？在客户服务情感识别中有什么挑战和解决方案？
CusEmo是一个大规模真实生活数据集，用于评估客户服务呼叫中心对话中情感的连续识别。挑战包括确定适当的标签采样率和输入段长度，以及整合情境信息。解决方案包括使用多任务学习将对话者的性别和共情水平与不同权重整合，实验表明加入共情水平信息可以提高模型性能。
有哪些方法可以提升语音情感识别的准确性？
一种方法是使用增强策略，在两个数据集上验证，比基准研究识别率分别提高了11.5%和13.8%。另一种是跨媒介融合方法，融合文字和语音特征，在IEMOCAP数据集上表现优于其它方法。此外，自监督端到端系统也取得了SOTA结果。
