MegActor-$\Sigma$: 利用扩散变换器实现肖像动画中的灵活混合模态控制
内容提要
本文介绍了一种名为FaceFormer的基于Transformer的自回归模型，用于声控3D面部动画。该模型通过自监督预训练解决数据稀缺问题，并优化了注意机制，实验结果显示其性能优于现有技术。此外，研究提出了多种方法改善语音驱动的面部动画效果，包括自适应调制模块和条件扩散模型，提升了唇部同步性和动画编辑效率。
延伸解读
技术演进脉络
文章梳理了从2021年FaceFormer到2024年MegActor-Σ的语音驱动面部动画技术发展。早期方法基于Transformer自回归模型，通过自监督预训练解决数据稀缺问题；随后研究引入自适应调制、非自回归结构、交叉模态双学习等改进；近期则转向扩散模型，如SAiD、DiffSpeaker、X-Portrait和MegActor系列，逐步提升唇部同步性、多样性和推理速度。
扩散模型成为主流
2023年底以来，多项工作采用扩散模型进行语音驱动3D面部动画。SAiD结合扩散模型与轻量级U-Net，引入跨模态对齐偏差增强唇部同步；DiffSpeaker通过有偏条件注意力模块提升性能并实现并行快速推理；X-Portrait和MegActor则专注于肖像动画，利用条件扩散模型生成富有表现力且时间连贯的结果。
数据与对齐挑战
数据稀缺是语音驱动面部动画的长期挑战。FaceFormer通过自监督预训练语音表示缓解该问题；SAiD引入BlendVOCA数据集以解决公共资源不足；MegActor则通过合成数据生成框架，分割前景背景并进行风格转换，以处理原始视频驱动中的问题。这些方法共同指向对数据效率和跨模态对齐的持续优化。
Q&A
FaceFormer模型的主要功能是什么？
FaceFormer是一种基于Transformer的自回归模型，用于声控3D面部动画。
FaceFormer如何解决数据稀缺问题？
FaceFormer通过自监督预训练语音表示来解决数据稀缺问题。
FaceFormer在性能上与现有技术相比如何？
实验结果表明，FaceFormer的性能优于现有的最先进技术。
研究中提出了哪些方法来改善面部动画效果？
研究提出了自适应调制模块和条件扩散模型，以改善语音驱动的面部动画效果。
FaceFormer如何提升唇部同步性？
FaceFormer通过引入音频和视觉之间的交叉模态对齐偏差来增强唇部同步性。
FaceFormer的动画编辑效率如何？
FaceFormer提升了动画编辑效率，使得面部动画的编辑过程更加简化。
