上下文感知的说话人脸视频生成
内容提要
该文综述音频驱动说话人脸生成技术，涵盖自监督学习、三维人脸标志点、Transformer关键点生成、记忆增强GAN、大型语言模型指导及正交性约束等方法，实现头部姿态、表情与口型同步的可控合成，并提升视觉质量与唇同步精度。
延伸解读
技术演进脉络
从2018年到2024年，说话人脸生成技术经历了显著演进。早期方法如基于条件对抗生成网络和分解音频-视觉表示，侧重于基本唇形同步。随后，自监督学习和三维人脸标志点被引入以建模运动，实现头部姿态和表情控制。2023年后，Transformer关键点生成、记忆增强GAN和大型语言模型指导等方法进一步提升了视觉质量和情感一致性。最新研究通过正交性约束分离身份与运动，实现了完全可控的面部属性合成。
关键方法对比
不同方法在控制能力和合成质量上各有侧重。基于自监督学习和三维标志点的方法强调对头部姿态和表情的自由控制；两阶段Transformer方法注重身份保留和唇形同步；大型语言模型指导的方法能生成具有情感细节的生动表情；而正交性约束方法则首次实现了包括唇部、头部姿势和眼动在内的所有目标面部运动的准确展示，无需额外监督。这些方法在视觉质量和唇同步得分上不断刷新最先进水平。
应用与评估
这些技术可应用于虚拟助手、影视制作和远程会议等场景。评估方面，研究通常使用LRW和GRID等数据集，并关注视觉质量、唇同步精度、身份保留和情感一致性等指标。部分方法在性别和姿势变化方面表现出鲁棒性，并能生成高分辨率视频。此外，学习到的音频-视觉表示还可用于自动读唇和音频-视频检索等任务，展示了技术的多功能性。
Q&A
上下文感知的说话人脸视频生成主要用了哪些技术？
该技术综合运用了自监督学习、三维人脸标志点、Transformer关键点生成、记忆增强生成对抗网络、大型语言模型指导以及正交性约束等方法。
如何实现对说话人脸头部姿态和表情的自由控制？
通过利用自监督学习技术和三维人脸模型中的标志点对运动进行建模，并引入运动感知多尺度特征对齐模块，从而实现对头部姿态和表情的自由控制。
有哪些方法可以提升说话人脸视频的唇同步精度？
可以采用两阶段方法：第一阶段用基于Transformer的关键点生成器从音频中提取嘴唇和下颌关键点，第二阶段用视频渲染模型将关键点转换为面部图像；也可以利用AMIE框架发现视听一致性，并选择性聚焦嘴唇区域来增强唇同步。
大型语言模型在说话人脸生成中起什么作用？
大型语言模型用于指导生成具有表情细节的说话人脸：先理解语音信息并生成指令，再执行指令生成具有表情运动的生动说话人脸，实验证明能有效保持情感状态一致。
正交性约束在说话人脸生成中解决了什么问题？
正交性约束用于分离身份和运动，通过建立规范空间和多模态运动空间，实现生成外观自然、具有完全可控面部属性和准确唇部同步的谈话面孔。
基于文本的交谈头视频生成框架是如何工作的？
该框架分两个阶段：通用阶段针对多个人种实现，个性阶段基于每个人的具体情况实现。它能够按照上下文情感及语音节奏和停顿，合成高保真度的面部表情和头部动作。
