DreamHead:通过分层扩散学习音频驱动的说话头合成中的时空对应关系

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种名为DreamHead的分层扩散框架,用于音频驱动的说话头合成。通过预测面部特征点,DreamHead能够生成高保真度的说话头视频。

🎯

关键要点

  • 本研究提出了一种名为DreamHead的分层扩散框架。
  • DreamHead用于音频驱动的说话头合成。
  • 该框架解决了音频线索与面部表情之间的时空对应关系不足的问题。
  • 通过预测面部特征点,DreamHead有效学习音频与面部表情的对应关系。
  • DreamHead能够生成高保真度的说话头视频,具有重要的应用潜力。
➡️

继续阅读