1D-Touch: 利用半直接手势辅助的 NLP 粗糙文本选择

该文介绍了一种基于LivelySpeaker框架的语义感知共同语言手势生成方法，分为基于脚本的手势生成和基于音频引导的节奏细化两个阶段。该方法利用预先训练的CLIP文本嵌入作为指导，生成与脚本高度语义对齐的手势，并通过基于扩散的手势生成骨干将脚本引导的手势与音频信号相结合。该方法还能实现多种应用，例如改变手势风格、通过文本提示编辑共同语言手势等。实验证明该方法相对竞争方法具有优势，核心基于扩散的生成模型在两个基准测试中也取得了最先进的性能。