别只盯着ChatGPT版「Her」，在多模态AI拟人互动上，国内玩家也支棱起来了
内容提要
第二届多模态情感识别挑战赛（MER24）在IJCAI2024上结束，Soul App在Semi赛道获得第一名。Soul团队通过多模态特征提取、半监督学习等技术提升了情感识别准确率。Soul还推出了AI苟蛋、狼人魅影等应用，实现了情感化交互。AI情感识别在社交领域的发展将成为核心竞争点。
延伸解读
半监督学习：破解情感数据稀缺的关键
情感识别面临有标签数据稀缺的瓶颈，MER24的Semi赛道仅提供5030条有标签数据，而无标签数据超过11万条。Soul团队利用自训练策略，循环为无标签数据打伪标签并迭代模型，最终将识别准确率提升至90%以上，比基线系统提高3.7%。这显示半监督学习能有效利用海量无标签数据，是推动情感AI落地的重要技术路径。
多模态融合与泛化：技术方案的核心
Soul团队采用“先主干后微调”策略，先提升各模态特征提取模型的泛化性，再融合文本、语音和视觉信息。他们首次在视频情感识别中提出EmoVCLIP模型，并引入Modality Dropout策略缓解模态竞争，增强模型鲁棒性。这些创新使系统能更好区分忧虑和担心等易混淆情感，为多模态情感识别提供了可借鉴的方案。
从竞赛到产品：情感AI的社交落地
Soul将赛事技术积累应用于社交场景，推出AI苟蛋、狼人魅影和异世界回响等产品，实现拟人化情感交互。AI苟蛋能理解多模态内容并主动关怀用户，狼人魅影中的AI NPC具备伪装、信任等拟人决策能力。这些应用表明，情感识别技术正从实验室走向实际互动，满足用户对情绪价值的需求，成为社交AI的竞争焦点。
Q&A
Soul团队在多模态情感识别挑战赛中获得了什么成绩？
Soul团队在第二届多模态情感识别挑战赛（MER24）的Semi赛道中获得第一名。
Soul团队是如何提升情感识别准确率的？
Soul团队通过多模态特征提取和改进半监督学习技术，提升了情感识别的准确率。
多模态情感识别在社交领域的重要性是什么？
多模态情感识别在社交领域的发展将成为核心竞争点，以满足用户的情感需求。
Semi赛道的参赛队伍需要面对哪些挑战？
Semi赛道的参赛队伍需要利用少量有标签和大量无标签数据进行模型训练，难度较高。
Soul推出了哪些应用来实现情感化交互？
Soul推出了AI苟蛋、狼人魅影等应用，实现了情感化交互。
2024年被称为AIGC应用元年的原因是什么？
2024年被称为AIGC应用元年，因为AI在社交领域的情感支持将成为核心竞争点。
