EMO: 表情肖像的生命之躍 - 在弱條件下使用 Audio2Video 擴散模型生成有表情的肖像視頻
内容提要
本文综述语音驱动情感化人脸生成技术，涵盖EmoTalker、EAMM、EVP、EMOTE、DREAM-Talk、Emo-Avatar、EMOCA等系统，采用扩散模型、情感解耦、神经渲染等方法，实现高保真、可定制、唇形同步的情感表达，并探讨视觉模态在情感识别中的主导作用。
延伸解读
技术演进：从早期系统到扩散模型
文章梳理了语音驱动情感化人脸生成的发展脉络。早期系统如EVP（2021）和EAMM（2022）采用情感解耦和关键点运动生成，而近期方法如EMOTE（2023）、DREAM-Talk（2023）和EmoTalker（2024）则转向扩散模型，以提升生成质量和情感表现力。这一演进反映了该领域从传统生成方法向扩散模型的迁移趋势。
情感表达与唇形同步的平衡
多个系统致力于在情感表达和唇形同步之间取得平衡。例如，EMOTE通过空间局部和时间高频的口型识别来训练表情，同时维持完全的情感表达；DREAM-Talk使用EmoDiff生成动态情感表达，并利用音频特征提升唇部同步准确性。这表明，在生成富有情感的面部动画时，保持语音与口型的一致性是一个关键挑战。
视觉模态在情感识别中的主导作用
文章提到一项人类情感识别实验，结果表明在音频和视觉模态不匹配的情况下，人们对视觉模态的响应更为显著。这提示在情感化人脸生成中，视觉情感表达的质量至关重要，因为观众可能更依赖视觉线索来判断情感，而非仅仅依赖音频。
定制化与效率的进展
Emo-Avatar（2024）针对现有方法面临的大样本数据集、定制过程繁琐和图像质量下降等挑战，提出了一种高效的单样本视频风格化头像生成方法。它利用延迟神经渲染技术增强StyleGAN生成动态可驾驶肖像视频的能力，并通过两阶段流程结合PIT初始化和拉普拉斯金字塔纹理采样，实现了更快的生成和编辑，以及更高的训练效率和渲染质量。
Q&A
EmoTalker 是如何在生成表情时保留人物身份的？
EmoTalker 基于扩散模型，通过引入 Emotion Intensity Block 对提示中的细粒度情绪进行分析和提取，从而在生成高质量、可定制的面部表情时保留原始肖像的身份特征。
EAMM 模型如何从音频和视频中生成带有真实情感的人脸？
EAMM 结合音频与表情视频，使用无需监督的零级和一级关键点运动生成姿态，并将情感相关的面部动态表示为线性可加位移，从而生成单次具有真实感情模式的表情化人脸。
EVP 系统采用了哪些技术来生成情感动态视频人像？
EVP 系统通过 Cross-Reconstructed Emotion Disentanglement 技术将语音分解为情感和内容空间并提取二维情感面部特征，然后通过 Target-Adaptive Face Synthesis 技术生成高质量的情感动态视频人像。
EMOTE 系统如何实现语音同步和情感表达？
EMOTE 系统通过在空间局部和时间高频率上对语音内容进行口型识别来训练表情，同时维持与语音同步且具有完全的情感表达。
DREAM-Talk 框架的两阶段分别是什么？
DREAM-Talk 是一个两阶段扩散式音频驱动框架：第一阶段通过 EmoDiff 生成多样的动态情感表达和姿态，并使用音频特征和情感风格提升唇部同步准确性；第二阶段通过视频到视频渲染模块将情感和唇部运动从虚拟 3D 头像传输到任意肖像。
Emo-Avatar 方法如何实现高效的单目视频风格化头像生成？
Emo-Avatar 利用延迟神经渲染技术增强 StyleGAN 生成动态可驾驶肖像视频的能力，通过两阶段的延迟神经渲染流程，结合 PIT 初始化和拉普拉斯金字塔纹理采样等技术，实现了对风格化肖像视频的快速生成和编辑，具有更高的训练效率、渲染质量和可编辑性。
在语音驱动的面部生成中，视觉模态在情感识别中起什么作用？
研究表明，在音频和视觉模态不匹配的情况下，人们对视觉模态的响应更为显著，说明视觉模态在情感识别中具有主导作用。
EMOCA 方法的主要贡献是什么？
EMOCA 提出了一种新的深度知觉情感一致性丢失训练方法，使用 3D 面部化身进行情感传达，实现了高保真的面部表情重建和情感传达，可用于分析人类行为。
