量子位
·
快手可灵团队最新开源项目火了：大叔实时变身少女，GitHub狂揽7.5K星
内容提要
快手可灵团队开源项目LivePortrait火了，能生成动态视频，引来HuggingFace首席战略官体验。LivePortrait可以让肖像眨眼、微笑或转头，还能将表情复制到其他人身上。它不依赖明确可见的标记或特征点，通过学习数据集中的模式来推断关键点位置。在RTX 4090 GPU上，每帧生成速度为12.8毫秒。可灵AI即将全球开放。
关键要点
-
快手可灵团队的开源项目LivePortrait迅速走红，GitHub上获得7.5K星标。
-
LivePortrait能够生成动态视频，支持肖像眨眼、微笑和转头等动作。
-
该技术可以将表情复制到其他人身上，支持多种风格和尺寸。
-
LivePortrait不依赖于明确可见的标记，而是通过学习数据集中的模式推断关键点位置。
-
模型训练分为两个阶段，第一阶段改进了隐式点框架，第二阶段增强了面部表情处理的精确度。
-
在RTX 4090 GPU上，LivePortrait的生成速度为每帧12.8毫秒，效率高于现有的扩散模型方法。
-
可灵AI即将在全球范围内推出其服务。
延伸问答
LivePortrait是什么技术？
LivePortrait是一种可控人像视频生成框架，能够生成动态视频并支持肖像眨眼、微笑和转头等动作。
LivePortrait的生成速度如何？
在RTX 4090 GPU上，LivePortrait的生成速度为每帧12.8毫秒，效率高于现有的扩散模型方法。
LivePortrait如何处理面部表情？
LivePortrait通过两个阶段的训练模型，使用贴合模块和重定向模块来精确处理面部表情的细节。
LivePortrait与其他技术相比有什么优势？
与基于扩散模型的方法相比，LivePortrait具有更快的推理效率和较少的FLOPs需求，尽管在生成质量上略逊一筹。
LivePortrait的应用场景有哪些？
LivePortrait可以用于生成动态视频，支持多种风格和尺寸的肖像，甚至可以应用于动物的表情生成。
可灵AI的全球开放时间是什么时候？
可灵AI即将在全球范围内推出其服务，具体时间尚未公布。
