💡
原文中文,约7200字,阅读约需18分钟。
📝
内容提要
快手可灵大模型团队开源了名为LivePortrait的人像视频生成框架,能够将驱动视频的表情、姿态迁移到静态或动态人像视频上,生成极具表现力的视频结果。该框架已在快手的多个业务中落地,并将继续探索新的应用方式。
🎯
关键要点
- 快手可灵大模型团队开源了LivePortrait人像视频生成框架。
- LivePortrait能够实时将驱动视频的表情和姿态迁移到静态或动态人像视频上。
- 该框架已在快手的多个业务中应用,并将继续探索新的应用方式。
- LivePortrait在GitHub上获得了6.4K Stars和550 Forks,受到广泛关注。
- LivePortrait采用69M高质量训练帧和视频-图片混合训练策略,提升生成能力和可控性。
- 模型训练分为基础模型训练和贴合与重定向模块训练两个阶段。
- 第一阶段使用高质量训练数据和升级的网络结构,提升模型的泛化性和效率。
- 第二阶段设计了贴合模块和重定向模块,以解决跨身份驱动时的眼部和嘴部问题。
- LivePortrait在同身份和跨身份驱动中表现优异,生成质量和驱动精确度较高。
- 该框架支持多人合照驱动和动物肖像驱动,拓宽了实际应用场景。
- LivePortrait已在快手的多个业务落地,并将探索多模态驱动的人像视频生成。
➡️