SER评估：语音情感识别的领域内外基准测试
内容提要
本研究探讨了wav2vec 2.0模型在情感识别中的应用，发现其在词汇识别中可能丢失重要信息。提出了一种多预训练语音模型，提升了德语和法语的识别准确率，并评估了跨语言情感识别的有效性。此外，研究推出了新技术和工具包EmoBox，以推动语音情感识别的发展。
延伸解读
wav2vec 2.0在情感识别中的局限性
文章指出，wav2vec 2.0在词汇识别中可能丢弃对情感识别重要的语用信息。实验表明，仅使用中间层表示与多层平均效果相当，而仅用最后一层效果最差。这提示现有自监督模型可能不是利用非词汇特征的下游任务的最佳方案，为未来研究提供了新方向。
低资源语言的情感识别策略
针对低资源语言，文章提出语言特定的多预训练语音模型，通过多门机制和神经网络结构搜索为每种语言寻找特定结构，并引入对比辅助损失。在德语和法语上分别提升3%和14.3%的准确率。跨语言和多语言训练被证明是资源稀缺语言中训练情感识别分类器的有效策略。
跨语言评估与层选择的影响
文章使用八种语音表示模型和六种语言，首次全面评估基于Transformer的语音表示模型在跨语言语音情感识别中的性能。结果显示，仅使用最优层特征比使用所有层平均降低错误率32%，并在德语和波斯语上取得最新成果。探测表明中间层对捕捉情感信息至关重要。
EmoBox工具包与领域进展
文章推出EmoBox，一个开箱即用的多语言多语料库语音情感识别工具包，配备内部和跨语料库基准测试。通过整合数据集、解决数据分布不均衡和统一评估协议，旨在推进语音情感识别技术，增强人机交互。同时，回顾表明FAU-AIBO仍是挑战性基准，新方法并不总优于旧方法。
Q&A
wav2vec 2.0模型在情感识别中存在哪些问题？
wav2vec 2.0模型在情感识别中可能丢失重要的语用信息，影响词汇识别的准确性。
如何提高德语和法语的情感识别准确率？
通过提出一种语言特定的多预训练语音模型，德语和法语的识别准确率分别提高了3%和14.3%。
跨语言情感识别的有效策略是什么？
跨语言和多语言训练被认为是资源稀缺语言中有效的情感识别策略。
EmoBox工具包的目的是什么？
EmoBox是一个多语言多语料库的语音情感识别工具包，旨在推动该领域的发展。
研究中提到的多任务框架是如何工作的？
该多任务框架采用SER作为主任务，结合对比学习和信息最大化损失作为辅助任务，以实现跨语料库情感识别。
在情感语音识别研究中，深度学习模型的进展如何？
尽管在情感语音识别中取得了一些进展，但FAU-AIBO仍然是一个具有挑战性的基准，新的方法并不总是优于旧的方法。
