2024 年 MSP-Podcast SER 挑战: Ventoux 多模自监督学习下的语音情绪识别

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本研究介绍了2024年MSP-Podcast语音情感识别挑战赛中的参赛作品,使用支持向量机分类器对八种情感状态进行分类。通过自监督学习在不同模态上进行微调,提高了系统的准确分类能力,开发集上取得了0.35%的F1宏平均。

🎯

关键要点

  • 本研究介绍了2024年MSP-Podcast语音情感识别挑战赛中的参赛作品。
  • 研究专注于任务1,使用MSP-Podcast数据集对八种情感状态进行分类。
  • 采用集成模型的方法,每个模型独立训练,使用支持向量机(SVM)分类器进行融合。
  • 通过自监督学习(SSL)在不同模态上进行微调,包括语音、文本及其结合。
  • 联合训练方法旨在提高系统对情感状态的准确分类能力。
  • 系统在开发集上取得了0.35%的F1宏平均。
➡️

继续阅读