在数据驱动的手势生成中融入空间意识以增强虚拟代理的沟通
原文中文,约300字,阅读约需1分钟。发表于: 。本研究解决了虚拟代理在非语言行为(特别是手势)中缺乏空间上下文的问题。通过引入场景信息到语音驱动的手势合成中,我们提出了一种新型的合成手势数据集。此发展为创建更自然的人机交互奠定了重要基础。
本论文描述了一个基于扩散式运动合成模型的系统,为GENEA Challenge 2023开发。该系统使用对比语言和动作预训练模块,实现语义感知的共言语手势生成。在比赛中获得了最高的人类相似度和语言适应性评分。