G3PT:通过跨尺度查询变压器释放自回归建模在3D生成中的潜力
原文中文,约500字,阅读约需2分钟。发表于: 。本研究解决了自回归变压器在3D生成任务中的局限性,尤其是由于3D数据的无序特性而导致的预测问题。通过引入G3PT,该模型采用跨尺度查询变压器,将基于点的3D数据映射为具有不同细节层次的离散tokens,从而实现了自然的顺序关系。实验表明,G3PT在3D生成质量和泛化能力上优于以往方法,并首次揭示了其扩展过程中的幂律行为。
本文介绍了一种直接的3D生成模型(Direct3D),它可以从图像生成高质量的3D模型。该方法包括一个直接的3D变分自动编码器(D3D-VAE)和一个直接的3D扩散变换器(D3D-DiT)。实验证明,该模型具有更好的生成质量和泛化能力。