内容提要
SentiPulse与人大高瓴联合推出开源3D数字人框架SentiAvatar,旨在突破数字人行业的表达与动作瓶颈,实现自然流畅的交互。该框架通过高质量数据集和创新模型,提升数字人的情感表达能力,支持实时生成动作与表情,推动数字人向“理解交流”发展。
关键要点
-
SentiPulse与人大高瓴推出开源3D数字人框架SentiAvatar,旨在突破数字人行业的表达与动作瓶颈。
-
数字人行业面临的主要问题是缺乏自然的表达能力和流畅的动作,而不仅仅是视觉上的逼真。
-
人类沟通中超过70%的信息与情绪通过非语言信号传递,数字人需要更好地模拟这些信号。
-
行业面临三个瓶颈:中文对话场景数据不足、复合语义下动作理解能力差、音画节奏错位。
-
SentiAvatar框架提供全球开源的3D动作生成解决方案,旨在实现自然实时交互。
-
SentiAvatar使用SuSuInterActs数据集,包含多模态对话语料,填补中文高质量数据的空白。
-
框架引入自研的Motion Foundation Model,训练通用运动先验,提升数字人能力。
-
SentiAvatar采用plan-then-infill双通道架构,分开处理身体动作与面部表情,生成效果更流畅。
-
实验结果显示,SentiAvatar在多个核心指标上达到国际最优水平,性能领先行业主流模型。
-
SentiAvatar支持在0.3秒内生成6秒动作序列,实现实时流式交互,解决数字人交互卡顿问题。
-
SentiAvatar已在GitHub开源,开发者可基于此框架低成本打造3D数字人,拓展应用领域。
-
数字人将不再是机械工具,而是能理解情绪、主动表达的交互主体,推动下一代数字生命的诞生。
延伸问答
SentiAvatar框架的主要目标是什么?
SentiAvatar框架旨在突破数字人行业的表达与动作瓶颈,实现自然流畅的交互。
SentiAvatar如何解决数字人行业的主要瓶颈?
SentiAvatar通过提供高质量数据集和创新模型,提升数字人的情感表达能力,支持实时生成动作与表情。
SentiAvatar使用了什么样的数据集?
SentiAvatar使用SuSuInterActs数据集,包含多模态对话语料,填补中文高质量数据的空白。
SentiAvatar的动作生成机制是怎样的?
SentiAvatar采用plan-then-infill双通道架构,分开处理身体动作与面部表情,生成效果更流畅。
SentiAvatar在性能上与行业主流模型相比如何?
实验结果显示,SentiAvatar在多个核心指标上达到国际最优水平,性能领先行业主流模型。
开发者如何使用SentiAvatar框架?
SentiAvatar已在GitHub开源,开发者可以基于此框架低成本打造3D数字人,拓展应用领域。