💡
原文中文，约4100字，阅读约需10分钟。
📝
内容提要
上海交通大学推出全球首个支持多人实时口语对话的语音情感大模型“交交”。该模型具备多人对话、身份识别、多语言支持和情感理解等功能，能够与多位用户自然互动，精准识别身份并提供个性化回应，同时支持多种语言和方言，满足知识问答需求，展现出强大的语音理解与交互能力。
🎯
关键要点
- 上海交通大学推出全球首个支持多人实时口语对话的语音情感大模型“交交”。
- 该模型具备多人对话、身份识别、多语言支持和情感理解等功能。
- “交交”能够与多位用户自然互动，精准识别身份并提供个性化回应。
- 支持汉语、英语、日语和法语四大主流语言，具备跨语言回复能力。
- 对中文进行了特殊优化，具备强大的方言识别与理解能力。
- 能够根据对话内容理解用户情绪，生成富有情感的回应。
- “交交”是一个知识宝库，能够进行古诗词背诵、科学原理讲解等。
- 采用鲁棒的音频编码器，具备良好的抗噪能力和多人理解能力。
- 基于创新的跨模态对齐机制，实现多语言语音信号与文本的精准映射。
- 通过构造多人对话数据，增强模型的对话处理能力。
- 在语音对话大模型的测试中，“交交”展现出卓越的表现。
- 在多语言测试中，模型在中文、日文、法文上的表现显著优于其他模型。
- 研发团队来自上海交通大学，专注于听觉人工智能与计算声学领域的研究。
- “交交”重新定义了人机交互的方式，让对话更加自然、智能、有趣。
❓
延伸问答
什么是“交交”模型，它的主要功能是什么？
“交交”是上海交通大学推出的全球首个支持多人实时口语对话的语音情感大模型，具备多人对话、身份识别、多语言支持和情感理解等功能。
“交交”支持哪些语言？
“交交”支持汉语、英语、日语和法语四大主流语言，并具备跨语言回复能力。
如何实现“交交”的多人对话功能？
“交交”通过构造多人对话数据，模拟真实场景，增强模型的对话处理能力，能够同时与多位用户自然互动并精准识别身份。
“交交”在情感理解方面有什么优势？
“交交”能够根据对话内容理解用户情绪，并生成富有情感的回应，适应不同的对话场景。
“交交”在知识问答方面的表现如何？
“交交”是一个知识宝库，能够进行古诗词背诵、科学原理讲解等，满足不同层次的知识需求。
“交交”与其他语音对话模型相比有什么优势？
在测试中，“交交”展现出卓越的表现，尤其在中文、日文、法文的多语言测试中显著优于其他模型，且在复杂任务表现上也有明显提升。
➡️
