EmoTalker: 通过扩散模型生成情感可编辑的说话脸部
内容提要
本文综述情感语音驱动的说话人脸生成研究。DreamTalk采用两阶段扩散框架，结合EmoDiff生成动态情感与姿态，提升唇部同步，并可迁移至任意肖像。其他工作分别利用图卷积网络、多模态情感编码器、纹理几何感知扩散模型、EMOTE系统及GMTalker等，实现情感可控、高保真且音视频同步的面部动画，在生成质量、情感准确性和动作多样性上优于以往方法。
延伸解读
情感控制的技术路线差异
文章综述了多种情感语音驱动说话人脸生成方法，技术路线各有侧重。DreamTalk采用两阶段扩散框架，通过EmoDiff生成动态情感与姿态，并利用视频到视频渲染迁移至任意肖像；GMTalker基于高斯混合模型构建连续多模态潜变量空间；EAT则通过参数高效调整将无情感模型转换为情感可控模型。这些差异反映了情感控制可在扩散过程、潜变量空间或模型微调等不同层面实现。
情感强度与多样性的平衡
EmoDiff采用分类器指导的软标签技术控制情感强度，在维持高质量的同时精确控制强度，并能生成具有特定情感强度的多样化语音。这表明情感生成不仅需准确表达情感类别，还需调节强度并保持多样性。GMTalker同样强调动作多样性，其连续潜变量空间支持更灵活的情感操作。读者可关注不同方法如何在情感准确性、强度控制和动作多样性之间取得平衡。
评估维度与视觉模态的影响
文章提到，主观和客观评估均证明相关系统在图像质量、音视频同步和视觉情感表达方面表现优越。此外，利用生成视频进行的人类情感识别实验表明，在音频和视觉模态不匹配的情况下，人们对视觉模态的响应更为显著。这提示在评估情感说话人脸时，视觉情感表达的准确性可能对感知效果有重要影响，也说明多模态一致性值得关注。
Q&A
EmoTalker 是什么？它主要解决什么问题？
EmoTalker 是一个通过扩散模型生成情感可编辑的说话脸部的框架。它旨在实现情感可控、高保真且音视频同步的面部动画，解决情感语音驱动说话人脸生成中的情感表达和唇部同步问题。
DreamTalk 框架是如何工作的？
DreamTalk 是一个两阶段扩散式音频驱动框架。它通过 EmoDiff 生成多样的动态情感表达和姿态，并使用音频特征和情感风格来提升唇部同步准确性，然后通过视频到视频渲染模块将情感和唇部运动从虚拟3D头像传输到任意肖像。
EmoDiff 模型如何控制情感强度？
EmoDiff 模型采用分类器指导的软标签技术来控制情感强度，从而在维持高质量的同时精确控制情感强度，并生成具有特定情感强度的多样化语音。
GMTalker 是什么？它有什么特点？
GMTalker 是一种基于高斯混合模型的情感性语音肖像生成框架。它通过构建连续和多模态的潜变量空间实现更灵活的情感操作，结合流动场的动作生成器和个性化情感引导头部生成器，能够合成高保真度和忠实的情感视频肖像，在图像质量、逼真度、情感准确性和动作多样性等方面优于先前方法。
EMOTE 系统如何实现情感表达和语音同步？
EMOTE 系统通过在空间局部和时间高频率上对语音内容进行口型识别来训练表情，同时维持与语音同步且具有完全的情感表达，从而实现面部三维动画的情感表达和语音的同步。
EAT 方法如何将无情感的说话头模型转换为情感可控模型？
EAT 方法通过参数高效的调整，从不同的角度引入三种轻量级适应方式，有效地将无情感的说话头模型转换为可控情感的模型，实现精确而逼真的情感控制，并在基准测试中取得最先进的性能。
