FaceChain-ImagineID: 从解耦音频中自由地构建高保真多样化的说话人脸
内容提要
该文综述音频驱动说话人脸生成技术，涵盖学习分解的视听表示、三维面部动画、姿势可控对话脸、AMIE视听一致性、DIRFA多样化动画、3DiFACE扩散模型及FaceTalk三维头部运动合成等方法，实现唇形同步、表情与姿态控制，并在多个数据集上优于基线。
延伸解读
技术演进脉络
文章梳理了从2018年至2023年音频驱动说话人脸生成的发展，涵盖三维面部动画、姿势可控对话脸、视听一致性、多样化动画、扩散模型及三维头部运动合成等关键方法。这些工作逐步解决了唇形同步、表情与姿态控制等核心问题，并在多个数据集上超越基线，体现了该领域从单一模态向多模态、从确定性向多样化生成的演进趋势。
核心挑战与解决思路
实现高保真且多样化的说话人脸生成面临音频与视觉信息解耦、身份与运动分离、唇形同步与自然表情平衡等挑战。文章提及的方法通过分解视听表示、引入隐式低维姿势代码、正交性约束以及轻量级扩散模型等策略，在保持唇部运动准确性的同时，增强头部姿态和表情的可控性，为任意主题的对话面生成提供了可行路径。
评估与性能表现
文章指出，所综述的方法在LRW、GRID等数据集上进行了实验，并在性别、姿势变化等条件下展现出鲁棒的高分辨率合成能力。评估指标包括唇同步得分和视觉质量，部分方法在普遍指标上改进了现有技术。这些定量与定性结果共同表明，当前技术已能在无额外监督的情况下生成包含唇部、头部姿势和眼动等全部目标面部运动的谈话面孔。
Q&A
FaceChain-ImagineID 的主要目标是什么？
该研究旨在通过学习分解的音频-视觉表示来实现任意主题的对话面生成，并证明所学习的音频-视觉表示对于自动读唇和音频-视频检索任务非常有用。
有哪些方法可以实现音频驱动的三维面部动画？
文章提到多种方法：2018年7月提出利用音频生成三维面部动画的通用方法，建立分类潜空间分离音频相关和不相关信息；2021年4月提出基于声音分解学习的方法提高音频驱动视频生成性能；2023年12月提出3DiFACE，使用轻量级音频条件扩散模型实现个性化语音驱动的3D面部动画和编辑。
如何实现姿势可控的对话脸生成？
2019年10月提出一个简洁有效的框架，通过使用隐式低维姿势代码对原始面部图像进行操作，实现语音和头部姿势信息的联合非身份嵌入空间，通过调制卷积重建框架，在极端视角下稳健地生成准确的唇形同步会话，并具有对话面部前视等功能。
AMIE 在说话人脸生成中有什么作用？
AMIE 用于发现音频和视频信息之间的视听一致性，并通过在训练阶段选择性聚焦输入图像的嘴唇区域来进一步增强唇部同步。在 LRW 和 GRID 数据集上实验显示，该方法在性别和姿势变化方面具有鲁棒的高分辨率综合，改进了现有方法在普遍指标上的性能。
DIRFA 方法如何生成多样化的面部动画？
DIRFA 是一种新方法，通过基于 Transformer 的概率映射网络生成同一音频驱动下具有多样化但真实面部动画的语音合成人脸，并能通过源图像使用通用生成网络合成出逼真的说话人脸。
FaceTalk 方法的主要特点是什么？
FaceTalk 是一种新颖的生成方法，用于从输入音频信号中合成具有高保真度的人头部 3D 运动序列。
