2024 年 MSP-Podcast SER 挑战: Ventoux 多模自监督学习下的语音情绪识别
内容提要
本文探讨了多视角自监督学习在情感识别中的应用，提出了多任务预训练方法和基于卷积神经网络的模型，显著提升了情感识别的性能，尤其在低资源语言中表现优异。实验结果表明，该方法在多种语料库中均取得了良好效果。
延伸解读
多任务预训练如何提升情感识别
文章指出，通过同时进行自动语音识别和情感分类任务对模型进行预训练，可以使声学模型更具“情感感知”能力。这种方法在MSP-Podcast数据集上达到了0.41的一致性相关系数，表明多任务学习能有效利用未标注数据，缓解情感标注不足的问题。
自监督特征的单模态潜力
基于自上而下和自下而上架构的端到端系统，仅使用语音自监督特征就取得了SOTA结果，其性能可与同时使用语音和文本的多模态系统相媲美。这揭示了精细调整的自监督声学特征在情感识别中的强大潜力，为单模态系统提供了新的可能性。
低资源语言的跨语言适应
针对低资源语言，文章提出语言特定的多预训练语音模型情感信息提取方法，通过多门机制和神经网络结构搜索为每种语言寻找特定结构，并引入对比辅助损失。实验表明，该方法在德语和法语上分别提高了3%和14.3%的准确率，显著提升了跨语言情感识别的性能。
辅助任务与半监督学习的泛化优势
多任务学习结合性别和自然度等辅助任务，能显著提高情感模型的泛化能力。此外，基于半监督学习的交叉语言方法使用CNN和伪标签策略，在五种语言数据上表现出鲁棒性，说明利用辅助信息和未标注数据是提升情感识别泛化性的有效途径。
Q&A
什么是多视角自监督学习在情感识别中的应用？
多视角自监督学习通过预训练技术改善情感识别在数据标注有限情况下的性能。
多任务预训练方法如何提高语音情感识别的性能？
该方法通过同时进行自动语音识别和情感分类任务，显著提升了情感识别模型的性能。
针对低资源语言的情感识别方法有什么创新？
提出了一种语言特定的多预训练语音模型情感信息提取方法，显著提高了德语和法语的准确率。
自我监督特征在情感识别中的作用是什么？
自我监督特征通过与监督分类相结合，提高了人机交互中的情感理解能力。
多任务学习如何改善情感模型的泛化能力？
多任务学习结合性别和自然度等辅助任务，显著提高了情感识别的泛化能力。
该研究的实验结果如何？
实验结果表明，该方法在多种语料库中均取得了良好效果，尤其在低资源语言中表现优异。
