快手开源LivePortrait，GitHub 6.6K Star，实现表情姿态极速迁移
内容提要
快手可灵大模型团队开源了名为LivePortrait的人像视频生成框架，能够将驱动视频的表情、姿态迁移到静态或动态人像视频上，生成极具表现力的视频结果。该框架已在快手的多个业务中落地，并将继续探索新的应用方式。
延伸解读
技术路线：隐式关键点框架的取舍
与主流扩散模型不同，LivePortrait选择隐式关键点框架，以平衡计算效率和可控性。它采用69M高质量训练帧和视频-图片混合训练策略，升级网络结构，并引入缩放因子和关键点引导损失。这些设计提升了泛化性和驱动精确度，同时保持较低计算成本。
两阶段训练：基础模型与贴合重定向
训练分为两阶段：第一阶段训练基础模型，统一关键点估计网络并采用ConvNeXt-V2-Tiny和SPADE解码器；第二阶段训练轻量MLP模块，包括贴合、眼部重定向和嘴部重定向。贴合模块解决反贴像素错位，支持多人合照；重定向模块改善跨身份驱动时的眼部和嘴部问题。
性能表现：速度与质量的平衡
在RTX4090上，LivePortrait单帧生成仅需12.8ms，经TensorRT优化可望低于10ms。同身份和跨身份驱动中，生成质量和驱动精确度较高，能捕捉细微表情。与扩散模型方法AniPortrait相比，生成质量略弱，但推理效率极快且FLOPs更少。
应用拓展与落地
LivePortrait支持多人合照驱动、动物肖像驱动和人像视频编辑，可精准编辑头部区域而不影响非头部画面。该技术已在快手魔表、私信、快影AI表情、直播及噗叽APP等业务落地，并将基于可灵基础模型探索多模态驱动的人像视频生成。
Q&A
LivePortrait是什么？
LivePortrait是快手可灵大模型团队开源的人像视频生成框架，能够实时将驱动视频的表情和姿态迁移到静态或动态人像视频上。
LivePortrait的技术优势是什么？
LivePortrait采用69M高质量训练帧和视频-图片混合训练策略，提升了生成能力和可控性，同时在生成速度和效率上表现优异。
LivePortrait的应用场景有哪些？
LivePortrait已在快手的多个业务中应用，包括快手魔表、快手私信、快影的AI表情玩法等，并支持多人合照和动物肖像驱动。
LivePortrait的训练过程是怎样的？
LivePortrait的训练分为两个阶段：基础模型训练和贴合与重定向模块训练，使用高质量数据和升级的网络结构以提升模型性能。
LivePortrait在GitHub上的表现如何？
LivePortrait在GitHub上获得了6.4K Stars和550 Forks，受到广泛关注，并在开源社区中获得好评。
LivePortrait如何处理跨身份驱动的问题？
LivePortrait设计了贴合模块和重定向模块，以解决跨身份驱动时的眼部和嘴部问题，确保生成的表情自然且准确。
