SentiPulse携手人大高瓴:开源交互式3D数字人框架SentiAvatar,领跑行业主流模型

SentiPulse携手人大高瓴:开源交互式3D数字人框架SentiAvatar,领跑行业主流模型

💡 原文中文,约2100字,阅读约需5分钟。
📝

内容提要

SentiPulse与人大高瓴联合推出开源3D数字人框架SentiAvatar,旨在突破数字人行业的表达与动作瓶颈,实现自然流畅的交互。该框架通过高质量数据集和创新模型,提升数字人的情感表达能力,支持实时生成动作与表情,推动数字人向“理解交流”发展。

🎯

关键要点

  • SentiPulse与人大高瓴推出开源3D数字人框架SentiAvatar,旨在突破数字人行业的表达与动作瓶颈。

  • 数字人行业面临的主要问题是缺乏自然的表达能力和流畅的动作,而不仅仅是视觉上的逼真。

  • 人类沟通中超过70%的信息与情绪通过非语言信号传递,数字人需要更好地模拟这些信号。

  • 行业面临三个瓶颈:中文对话场景数据不足、复合语义下动作理解能力差、音画节奏错位。

  • SentiAvatar框架提供全球开源的3D动作生成解决方案,旨在实现自然实时交互。

  • SentiAvatar使用SuSuInterActs数据集,包含多模态对话语料,填补中文高质量数据的空白。

  • 框架引入自研的Motion Foundation Model,训练通用运动先验,提升数字人能力。

  • SentiAvatar采用plan-then-infill双通道架构,分开处理身体动作与面部表情,生成效果更流畅。

  • 实验结果显示,SentiAvatar在多个核心指标上达到国际最优水平,性能领先行业主流模型。

  • SentiAvatar支持在0.3秒内生成6秒动作序列,实现实时流式交互,解决数字人交互卡顿问题。

  • SentiAvatar已在GitHub开源,开发者可基于此框架低成本打造3D数字人,拓展应用领域。

  • 数字人将不再是机械工具,而是能理解情绪、主动表达的交互主体,推动下一代数字生命的诞生。

延伸问答

SentiAvatar框架的主要目标是什么?

SentiAvatar框架旨在突破数字人行业的表达与动作瓶颈,实现自然流畅的交互。

SentiAvatar如何解决数字人行业的主要瓶颈?

SentiAvatar通过提供高质量数据集和创新模型,提升数字人的情感表达能力,支持实时生成动作与表情。

SentiAvatar使用了什么样的数据集?

SentiAvatar使用SuSuInterActs数据集,包含多模态对话语料,填补中文高质量数据的空白。

SentiAvatar的动作生成机制是怎样的?

SentiAvatar采用plan-then-infill双通道架构,分开处理身体动作与面部表情,生成效果更流畅。

SentiAvatar在性能上与行业主流模型相比如何?

实验结果显示,SentiAvatar在多个核心指标上达到国际最优水平,性能领先行业主流模型。

开发者如何使用SentiAvatar框架?

SentiAvatar已在GitHub开源,开发者可以基于此框架低成本打造3D数字人,拓展应用领域。

➡️

继续阅读