ReGenNet:走向人类行为反应综合
原文中文,约300字,阅读约需1分钟。发表于: 。提出了一种异步、动态、同步和详细的人 - 人互动综合基准方法,利用 ReGenNet 模型和 Transformer 解码器体系结构生成人的反应,结果显示我们的方法可以产生即时且可信的人的反应。
本文提出了一种基于生成对抗网络 (GAN) 的生成模型,通过学习自然语言和人类行为之间的关系,在给定人类行为描述的句子的情况下生成一个人类行为序列。使用这个模型,可以为机器人或虚拟代理人合成各种操作,并通过大规模视频数据集 MSR-Video-to-Text 进行训练,生成能够转移到 Baxter 机器人上的人类操作。结果表明,该生成对抗网络正确地建立了语言和行为之间的关系,可以从同一句子中生成不同的动作。