宋佳铭(DDIM之父)离开Luma AI,期间推动了多模态基础模型的发展,并参与了3D生成到视频生成的技术转型。他的DDIM论文奠定了扩散模型在图像生成中的基础,影响了多个生成式AI产品。
Luma AI推出的Uni-1模型在图像理解与生成方面表现优异,超越谷歌的Nano Banana Pro和GPT Image 1.5。该模型由不到15人的华人团队开发,具备角色姿态迁移和草稿转漫画等功能,展现出强大的竞争力,预示着视觉AI的未来发展方向。
我们研究了无分类器引导(CFG)的理论基础,揭示了其与DDPM和DDIM的不同之处,并指出CFG生成的分布存在误解。我们将CFG描述为一种预测-修正方法(PCG),在去噪和锐化之间交替。通过在SDE极限下的分析,我们证明CFG等同于结合DDIM预测器和Langevin动态修正器,从而为CFG的理解提供了理论支持。
本文探讨了无分类器引导(CFG)的有效性,指出其与DDPM和DDIM的不同交互。研究表明,CFG是一种预测-校正方法(PCG),在去噪和锐化之间交替。DDPM-CFG在SDE极限下等同于应用于条件分布的DDIM预测器和伽马分布的Langevin动态校正器。
本文提出了一种改进的3D生成方法,通过修改DDIM和引入得分蒸馏采样(SDS),有效提升了生成质量,解决了过度平滑和低多样性的问题。该方法结合逆向采样和分数蒸馏,在全景图像、视频和3D场景中展示了有效性,并在文本到3D生成任务中表现出色。
完成下面两步后,将自动完成登录并继续当前操作。