ConvoFusion: 用于语音手势合成的多模态对话扩散 | CVPR 2024
内容提要
最近的研究提出了一种新的手势合成方法ConvoFusion，可以生成与语义对齐的手势。该方法通过关注特定词语来进行控制，并发布了DnD Group Gesture数据集来进一步推进多方互动手势的研究。实验结果表明，使用词级引导机制可以增强生成手势的语义一致性。
延伸解读
语义手势生成的难点
文章指出，现有共语手势生成方法虽能生成与语音节奏对齐的节拍手势，但难以生成与话语语义对齐的手势。节拍手势因与语音信号时间对齐且空间模式通用，较易建模；而语义连贯性涉及词语、意义与说话者之间复杂的时间交互，建模难度更高。ConvoFusion 正是针对这一难点，通过关注特定词语来实现语义对齐的手势合成。
词级引导机制的实际效果
ConvoFusion 引入词级引导机制，允许用户在采样过程中基于自定义词集精细控制手势生成。实验显示，使用该机制后，手势类型分类器对语义手势的召回率从0.34提升至0.40，表明生成手势的语义一致性得到增强。此外，在激发词出现时，关节速度显著增加，说明模型能根据词语动态调整动作活跃度。
DnD Group Gesture 数据集的价值
现有手势数据集多聚焦独白场景，即使涉及对话也仅标注一人。ConvoFusion 团队发布的 DnD Group Gesture 数据集包含五名参与者进行多场龙与地下城游戏的约6小时数据，提供所有参与者的全身动作捕捉、多通道音频和文本转录。这为研究双人乃至多方互动中的手势生成提供了新的数据基础，推动了对话场景下手势合成的研究。
多模态控制与模型设计
ConvoFusion 支持音频、文本、说话者ID等多种输入，并可在测试时调节不同模态的影响。其运动潜在空间采用分块编码设计，以捕捉长时间序列中的细微时间依赖，并支持局部微调。模型使用带有多头注意力的Transformer作为骨干，每个模态对应一个注意力头，从而学习运动与语音之间的时间关联，实现连续手势合成。
Q&A
ConvoFusion是什么？
ConvoFusion是一种新的可控手势合成方法，能够生成与语义对齐的手势，支持多模态输入。
DnD Group Gesture数据集的内容是什么？
DnD Group Gesture数据集包含6小时的手势数据，展示了五名参与者在多场DND游戏中的互动手势。
ConvoFusion如何增强手势的语义一致性？
ConvoFusion通过引入词级引导机制，允许用户根据特定词语调节手势生成，从而增强语义一致性。
ConvoFusion支持哪些手势生成设置？
ConvoFusion支持单人和双人设置的手势生成，能够与对话内容相关联。
ConvoFusion的模型设计有什么特点？
ConvoFusion的模型设计具有时间感知功能，能够学习运动和语音之间的时间关联。
ConvoFusion与现有手势生成方法相比有什么优势？
ConvoFusion能够生成与语义对齐的手势，克服了现有方法在语言控制方面的不足。
