基于扩散的联合文本和音频表征的共语言手势生成
原文中文,约400字,阅读约需1分钟。发表于: 。本论文描述了一个基于现有的扩散式运动合成模型为 GENEA Challenge 2023 开发的系统。我们提出了对比语言和动作预训练(CSMP)模块,该模块学习了语言和手势的联合嵌入,旨在学习这些模态之间的语义耦合关系。CSMP...
该系统使用现有的扩散式运动合成模型和对比语言和动作预训练模块,实现了语义感知的共言语手势生成。在GENEA Challenge 2023比赛中获得了最高的人类相似度和语言适应性评分,是一种有前途的方法。