💡
原文中文，约2700字，阅读约需7分钟。
📝
内容提要
香港科技大学、香港大学和华为诺亚方舟实验室合作开发了EMOVA，一个多模态智能助手，能够处理图像、文本和语音，并通过情感控制实现人性化交流。EMOVA结合视觉编码器和语音分词器，支持情感丰富的语音对话，在复杂图像理解和语音生成方面表现优异。
🎯
关键要点
- 香港科技大学、香港大学和华为诺亚方舟实验室合作开发了EMOVA，一个多模态智能助手。
- EMOVA能够处理图像、文本和语音，并通过情感控制实现人性化交流。
- EMOVA结合视觉编码器和语音分词器，支持情感丰富的语音对话。
- 当前的多模态大模型研究多偏向于双模态组合，EMOVA填补了全模态交互的空白。
- EMOVA的架构包括视觉编码器、语音分词器和情感控制模块。
- 视觉编码器捕捉图像特征，语音分词器将语音分解为语义内容和声学风格。
- 情感控制模块支持对语音情感、说话人特征、语速和音调的控制。
- EMOVA通过开源双模态数据实现全模态对齐，避免了全模态数据匮乏的问题。
- 实验结果显示EMOVA在视觉理解和语音任务上表现优越，尤其在复杂图像理解任务中。
- EMOVA是首个在保持视觉文本和语音文本性能领先的同时，支持带有情感的语音对话的模型。
- EMOVA展现出巨大的潜力，为未来AI具备更加人性化的情感表达提供新的实现思路。
➡️
