Direct3D:基于 3D 潜在扩散变换的可扩展图像到 3D 生成
原文中文,约600字,阅读约需2分钟。发表于: 。从文本和图像生成高质量的 3D 模型一直是具有挑战性的,本文介绍了一种直接的 3D 生成模型 (Direct3D),它可以缩放到野外输入图像,而不需要多视图扩散模型或 SDS 优化。我们的方法包括两个主要组成部分:一个直接的 3D 变分自动编码器 (D3D-VAE) 和一个直接的 3D 扩散变换器 (D3D-DiT)。D3D-VAE 将高分辨率的 3D...
本文介绍了一种直接的3D生成模型(Direct3D),通过D3D-VAE和D3D-DiT两个组成部分,可以从文本和图像生成高质量的3D模型。D3D-DiT对编码的3D潜在分布进行建模,实现了可扩展到大规模3D数据集的原生3D生成模型。实验证明,Direct3D相对于以前的方法具有更好的生成质量和泛化能力。