SVP:风格增强生动肖像对话头扩散模型

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本文提出了无监督的变分风格转换模型(VAST),用于唤醒中性逼真头像的表情。该模型包括风格编码器、混合面部表情解码器和变分风格增强器。实验结果显示,该方法能够生成更生动、真实、丰富表达的说话头像。

🎯

关键要点

  • 提出了一种无监督的变分风格转换模型(VAST)。
  • 模型用于唤醒中性逼真头像的表情。
  • 模型包括风格编码器、混合面部表情解码器和变分风格增强器。
  • 风格编码器从视频提示中提取面部风格表示。
  • 混合面部表情解码器模拟与语音相关的动作。
  • 变分风格增强器增强风格空间,提高表达性和寓意性。
  • 模型能够灵活捕捉表达性的面部风格,并进行零样本转移。
  • 实验结果显示,方法能够生成更生动、真实、丰富表达的说话头像。
➡️

继续阅读