💡
原文中文,约2600字,阅读约需7分钟。
📝
内容提要
苹果发布了名为HUGS的生成式AI技术,可以通过短视频生成人类的数字化身。该技术使用三维高斯分布表示人和场景,结合人体模型和变形网络,实现了更真实的外观和动作。训练速度提高了100倍,能渲染每秒60帧的高清视频。该成果受到赞赏和质疑,核心作者来自中国台湾。可能与iPhone或Vision Pro有关。
🎯
关键要点
-
苹果发布了名为HUGS的生成式AI技术,可以通过短视频生成人类的数字化身。
-
HUGS技术使用三维高斯分布表示人和场景,结合人体模型和变形网络,实现更真实的外观和动作。
-
该技术的训练速度提高了100倍,能够渲染每秒60帧的高清视频。
-
HUGS技术的核心思路是用三维高斯分布来表示人和场景,快速训练和渲染。
-
使用SMPL人体模型为高斯分布提供基本形状,灵活调整以捕捉细节。
-
设计了特殊的变形网络来控制高斯分布在不同骨骼姿势下的运动权重。
-
该技术的训练过程高效,计算成本低,仅需50-100帧的视频数据。
-
网友对该成果的反应两极分化,有人赞赏其细节建模,有人质疑生成效果。
-
论文的核心作者张仁豪来自中国台湾,曾在卡内基梅隆大学获得博士学位。
-
苹果的研究成果可能与即将发布的iPhone或Vision Pro有关。
➡️