快手开源LivePortrait,GitHub 6.6K Star,实现表情姿态极速迁移

快手开源LivePortrait,GitHub 6.6K Star,实现表情姿态极速迁移

💡 原文中文,约7200字,阅读约需18分钟。
📝

内容提要

快手可灵大模型团队开源了名为LivePortrait的人像视频生成框架,能够将驱动视频的表情、姿态迁移到静态或动态人像视频上,生成极具表现力的视频结果。该框架已在快手的多个业务中落地,并将继续探索新的应用方式。

🎯

关键要点

  • 快手可灵大模型团队开源了LivePortrait人像视频生成框架。
  • LivePortrait能够实时将驱动视频的表情和姿态迁移到静态或动态人像视频上。
  • 该框架已在快手的多个业务中应用,并将继续探索新的应用方式。
  • LivePortrait在GitHub上获得了6.4K Stars和550 Forks,受到广泛关注。
  • LivePortrait采用69M高质量训练帧和视频-图片混合训练策略,提升生成能力和可控性。
  • 模型训练分为基础模型训练和贴合与重定向模块训练两个阶段。
  • 第一阶段使用高质量训练数据和升级的网络结构,提升模型的泛化性和效率。
  • 第二阶段设计了贴合模块和重定向模块,以解决跨身份驱动时的眼部和嘴部问题。
  • LivePortrait在同身份和跨身份驱动中表现优异,生成质量和驱动精确度较高。
  • 该框架支持多人合照驱动和动物肖像驱动,拓宽了实际应用场景。
  • LivePortrait已在快手的多个业务落地,并将探索多模态驱动的人像视频生成。
➡️

继续阅读