弱监督情感转换学习用于多样化的三维配合语言手势生成
原文中文,约300字,阅读约需1分钟。发表于: 。为了实现逼真的 3D 共语手势,我们提出了一种基于 ChatGPT-4 的弱监督训练策略,通过情感过渡、协调转换手势、混合情感机制以及关键帧抽样等方法,成功地构建了新的情感过渡任务和数据集,并在实验证明了我们的方法优于现有的单一情感条件模型。
Mix-StAGE是一种新模型,可以为多个说话者提供服务并学习每个说话者的手势样式。它可以区分对话风格和内容,并且可以更改相同输入语音的手势样式。PATS是一个用于研究手势生成和样式传递的新数据集。Mix-StAGE模型在手势生成方面表现优于以前的方法,并为将手势风格传递给多个说话者提供了途径。