本研究提出了“意图手势”框架,解决了手势生成方法中忽视交流意图的问题。通过高层次意图推理和手势意图注解,实现了更深层次的手势合成,并在BEAT-2基准测试中取得了先进表现,推动了数字人类和人工智能领域的发展。
本研究提出了“情境手势”框架,以解决配音手势生成中语音与手势节奏及语义识别不准确的问题,从而提高手势视频生成的真实性和连贯性。
本研究提出了一种基于检索增强生成(RAG)的手势生成方法RAG-Gesture,旨在解决现有神经系统在生成语义丰富手势方面的不足。该方法利用可解释的语言知识和示例运动库,实现自然且富有语义的手势生成,无需训练,推动了手势合成领域的发展。
论文介绍了为 GENEA Challenge 2023 开发的系统,使用扩散式运动合成模型。提出的对比语言和动作预训练(CSMP)模块学习语言和手势的联合嵌入,理解模态间的语义关系。CSMP 输出作为条件信号用于手势合成,实现语义感知的手势生成。系统在比赛中获得最高的人类相似度和语言适应性评分,显示出生成类人手势的潜力。
Mix-StAGE是一种新模型,可以为多个说话者提供服务并学习每个说话者的手势样式。它可以区分对话风格和内容,并且可以更改相同输入语音的手势样式。PATS是一个用于研究手势生成和样式传递的新数据集。Mix-StAGE模型在手势生成方面表现优于以前的方法,并为将手势风格传递给多个说话者提供了途径。
完成下面两步后,将自动完成登录并继续当前操作。