小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本研究提出了“意图手势”框架,解决了手势生成方法中忽视交流意图的问题。通过高层次意图推理和手势意图注解,实现了更深层次的手势合成,并在BEAT-2基准测试中取得了先进表现,推动了数字人类和人工智能领域的发展。

Intentional Gesture: Conveying Your Intentions Through Gestures

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-21T00:00:00Z

本研究提出了“情境手势”框架,解决了配音手势生成中语音与手势之间的节奏和语义识别准确性不足的问题。该框架通过创新组件显著提升了手势视频生成的真实性和连贯性,支持长序列生成和视频手势编辑。

Contextual Gesture: Generating Co-Speech Gesture Videos through Context-Aware Gesture Representation

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-11T00:00:00Z

本研究提出了一种基于检索增强生成(RAG)的手势生成方法RAG-Gesture,旨在解决现有神经系统在生成语义丰富手势方面的不足。该方法结合可解释的语言知识和示例运动库,实现自然且富有语义的手势生成,推动手势合成领域的发展。

Retrieving Semantics from the Deep: An RAG Solution for Gesture Synthesis

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-09T00:00:00Z

本文介绍了利用CNN和GAN模型生成逼真的3D虚拟人物手势、表情和语音。研究提出了多种生成模型,如“diffmotion-v2”和Persona-Gestor,能够从语音中合成个性化的3D手势,提升合成动画的自然性和流畅性。同时,研究解决了虚拟人创建中的高内存需求和慢推理速度问题,提出了DiM-Gestures模型,显著提高了手势与语音的同步精度。

大型身体语言模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-21T00:00:00Z

本研究利用CNN和GAN模型生成逼真的3D虚拟人物,涵盖肢体手势、面部表情和语音。提出了多模态交互界面的必要性,并开发了Ada-TTA和VLOGGER方法,以提升音频驱动视频生成的质量和多样性。此外,研究创建了HIMO数据集,解决多物体交互的挑战,并提出LBLM-AVA模型,显著提高手势生成的准确性和真实感。

Allo-AVA:一种大规模多模态对话AI数据集用于分视角虚拟化身手势动画

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-21T00:00:00Z

本研究探讨了利用深度学习模型将语音转化为手势动作的方法,提出了多种生成手势的框架和模型,显著提升了手势生成的真实感和同步性。同时,研究发布了大型视频数据集,以支持模型的训练与评估。

强调语音驱动手势生成中显著姿态的语义一致性

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-17T00:00:00Z

本研究提出了多个基于扩散模型的框架,用于生成高保真的音频驱动手势和对话头像视频。ANGIE框架捕捉手势模式,DiffGesture确保音频与手势的时间一致性,DiffPoseTalk辅助生成面部动画,FreeTalker生成语音驱动的手势,DiffSHEG同步表情与手势,ConvoFusion调节多模态手势。MoDiTalker解决对话头像生成中的质量问题,运动解耦框架和PoseLatent Diffusion模型显著提升了生成效果。

DiffTED:利用扩散生成的音频驱动TED演讲视频生成方法

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-11T00:00:00Z

本文介绍了一种基于深度学习的手势生成模型,通过语音的声学和语义信息生成关节角度序列,提升人机交互体验。研究提出了多模态上下文和对抗训练的方法,评估结果显示其优于现有模型。该系统利用自监督学习和扩散模型生成自然的共说手势,在多个数据集上表现出色,具有人类相似度和语言适应性。

在数据驱动的手势生成中融入空间意识以增强虚拟代理的沟通

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-07T00:00:00Z

该研究介绍了多个基于扩散模型的语音驱动手势生成框架,如“diffmotion-v2”和“Persona-Gestor”,实现了从音频生成个性化3D手势,提升了手势生成的质量和多样性。评估结果验证了这些模型在音频与手势之间的有效关联,拓宽了语音驱动手势合成的应用前景。

DiM-Gesture:自适应层归一化 Mamba-2 框架的共语手势生成

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-01T00:00:00Z

本文介绍了一种基于深度学习的手势生成模型,该模型结合语音的声学和语义信息,生成对应的关节角度序列。模型分为脚本引导的手势生成和音频引导的节奏细化两个阶段。实验结果表明,该方法在手势的语义和节奏感知方面表现优异,适用于多种应用场景。

语义手势生成器:语义感知的共语手势合成

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-16T00:00:00Z

本文介绍了基于扩散模型的手势生成系统,重点在于通过语言和手势的联合嵌入实现语义感知的共言语手势生成。研究提出了C2G2框架和DiffGesture等多种方法,以提高手势生成的质量和一致性,实验结果表明这些方法优于现有技术。

超越障碍的桥梁:基于词汇提醒的细粒度提示手势生成与扩散模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-30T00:00:00Z

本文探讨了一种基于深度学习的手势生成模型,该模型结合语音和视觉信息,提升了手势与语音的语义对齐。研究表明,该模型在生成隐喻手势和肢体动作方面优于传统方法,具有广泛的应用潜力。

标志性手势的语义学

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-29T00:00:00Z

本研究提出了DiffGesture、ANGIE和C2G2等多个框架,以生成高保真的共语手势。这些方法通过结合音频与手势的语义关系,解决了手势生成中的时间一致性和多样性问题,表现出色,具有良好的应用前景。

通过运动解耦扩散模型生成共说手势视频

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-02T00:00:00Z

Mix-StAGE是一种新模型,可以为多个说话者提供服务并学习每个说话者的手势样式。它可以区分对话风格和内容,并且可以更改相同输入语音的手势样式。PATS是一个用于研究手势生成和样式传递的新数据集。Mix-StAGE模型在手势生成方面表现优于以前的方法,并为将手势风格传递给多个说话者提供了途径。

弱监督情感转换学习用于多样化的三维配合语言手势生成

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-11-29T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码