Freetalker：基于扩散模型的可控语音和文本驱动手势生成以增强演讲者自然度
内容提要
该文综述共语手势生成研究：C2G2框架通过时间潜变与控制方法解决训练不稳定、时间不一致及说话者身份与时间编辑控制不足的问题；DiffGesture以扩散模型平衡生成质量与多样性；diffmotion-v2利用WavLM生成个性化全身手势；CSMP学习语言与手势的联合嵌入，实现语义感知生成；LivelySpeaker分两阶段实现语义对齐与节奏细化；FreeMo分解姿态与节奏；此外还涉及可控面部动作的谈话面孔、基于声学语义的任意节拍手势生成以及多模态对抗生成模型等工作。
延伸解读
从“能生成”到“可控生成”的演进
文章梳理的多个工作显示，共语手势生成的研究重点正从单纯追求生成质量，转向对说话者身份、时间节奏和语义对齐的精细控制。C2G2 针对训练不稳定与时间不一致提出两阶段策略和说话者特定解码器；LivelySpeaker 则把任务拆成脚本引导生成与音频节奏细化两阶段，并支持风格改变和文本提示编辑。这反映出可控性已成为衡量系统实用性的关键维度。
扩散模型为何成为主流骨干
DiffGesture、diffmotion-v2、CSMP 和 LivelySpeaker 均以扩散模型为核心。文章指出，DiffGesture 借助扩散设计在质量与多样性之间取得平衡；LivelySpeaker 的扩散骨干仅依赖音频信号，并能在零样本设置下结合脚本引导。这说明扩散框架既能承载多模态条件，又便于引入文本、音频等控制信号，是其被反复选用的主要原因。
语义与节奏：两条互补的技术路线
文章呈现了两类互补思路：CSMP 学习语言与手势的联合嵌入，让生成结果携带语义含义，并在参赛中获得最高人类相似度和语言适应性评分；FreeMo 则将动作分解为姿态模式与节奏动力学，用双流架构分别处理多样性与语音韵律同步。前者侧重“说什么配什么手势”，后者侧重“何时做、怎么做”，二者共同指向语义与节奏的解耦控制。
评估仍依赖主观与基准测试
从文章描述看，各工作普遍在基准手势数据库上做大量实验，并辅以人类主观评分。CSMP 以人类相似度和语言适应性作为参赛评价，谈话面孔工作则报告视觉质量与唇同步得分。这提示读者：该领域尚无单一客观指标能全面衡量自然度，主观评估和特定基准仍是判断系统优劣的主要依据，跨研究比较时需留意评估设置差异。
Q&A
C2G2框架主要解决了共语手势生成中的哪些问题？
C2G2框架解决了现有方法中训练不稳定、时间不一致、高保真度和全面性不足，以及对生成手势的说话者身份和时间编辑缺乏有效控制等问题。它通过两阶段的时间依赖增强策略和说话者特定解码器生成与说话者相关的真实长度骨骼，并采用重新上色策略实现柔性手势生成/编辑。
DiffGesture如何平衡生成手势的质量和多样性？
DiffGesture采用扩散模型的设计思路，有效捕捉跨模态的音频到手势关联并保持时间一致性，从而在质量和多样性之间取得平衡，实现高保真的音频驱动共语手势生成。
diffmotion-v2模型如何生成个性化的全身共语手势？
diffmotion-v2使用WavLM预训练模型的语音条件扩散模型和非自回归Transformer生成模型，通过原始语音音频产生个性化和风格化的全身共语手势，消除了复杂多模态处理和手动注释的需求，实现了低级和高级音频信息的提取及语音信息与共语手势之间关系的学习。
CSMP模块在共语手势生成中起什么作用？
CSMP（对比语言和动作预训练）模块学习语言和手势的联合嵌入，旨在学习这些模态之间的语义耦合关系。其输出被用作扩散式手势合成模型的条件信号，以实现语义感知的共语手势生成。
LivelySpeaker框架的两阶段生成流程是什么？
LivelySpeaker将任务分解为两个阶段：基于脚本的手势生成和基于音频引导的节奏细化。第一阶段利用预训练的CLIP文本嵌入作为指导，生成与脚本高度语义对齐的手势；第二阶段设计基于扩散的手势生成骨干，仅依赖音频信号并学习以逼真动作作为手势，将脚本引导的手势与音频信号结合。
FreeMo模型如何实现自由形式动作生成？
FreeMo通过将共语动作分解为姿态模式和节奏动力学，利用两条流架构实现姿态的多样性生成和语音韵律同步的节奏动力学合成，从而在几个基准测试中展示出优秀性能。
