ECCV 2024 | 引入DiT的原生3D通用框架，适用任意神经场、秒级生成
内容提要
南洋理工大学、上海AI Lab和北京大学的研究者提出了名为LN3Diff的原生3D LDM生成框架，通过使用3D VAE和3D-DiT进行两阶段通用3D生成，解决了现有原生3D生成模型的可拓展性差、训练效率低和泛化性差等问题。LN3Diff在多个基准测试中取得了优异成绩，并具有更快的推理速度。
延伸解读
原生3D生成的技术路线选择
文章对比了当前3D生成的两类主流方案：基于SDS蒸馏的方法受限于优化时长和饱和度问题，而多视图生成加重建的两阶段方法则受限于多视图生成效果与多样性。LN3Diff选择将LDM框架直接引入3D隐空间，通过原生3D扩散采样来规避上述限制。这一路线选择意味着研究者更看重生成效率与3D一致性，而非依赖2D先验的间接生成。
3D VAE设计中的关键取舍
为兼容3D模态，LN3Diff没有直接使用SD VAE，而是基于Objaverse重新训练3D-aware VAE。编码器采用多视图图像、深度图和Plucker相机信息作为输入，以保留纹理建模能力并兼容2D图像编码器结构；解码器则使用基于3D-DiT的结构，并引入Self-plane与Cross-plane注意力提升3D-aware表达能力。这种设计在信息压缩与3D一致性之间寻求平衡。
训练效率与可扩展性的实际表现
得益于3D latent space的高效表达能力，LN3Diff在有限计算资源（4xA100 80GB）下即可完成高质量3D diffusion训练，并将模型尺寸扩展至DiT-L/2。在ShapeNet和Objaverse上的实验表明，该方法在多个指标上取得SoTA，且支持文本和图像条件生成。生成过程仅需数秒，并支持textured-mesh导出，显示出较好的实用潜力。
开源与复现的便利性
项目所有模型和测试/训练代码已全面开源至Github和Huggingface，并提供了Gradio demo。代码支持多卡训练、自动混合精度、flash-attention以及BF16等加速技巧，这降低了研究者和开发者复现与二次开发的门槛。对于希望基于LN3Diff进行3D生成应用探索的读者，这些资源提供了直接可用的起点。
Q&A
LN3Diff框架的主要创新点是什么？
LN3Diff框架通过结合3D VAE和3D-DiT，采用两阶段通用3D生成方法，解决了现有模型的可拓展性差、训练效率低和泛化性差的问题。
LN3Diff在生成3D资产时的速度如何？
LN3Diff在生成高质量3D资产时，生成过程仅需数秒。
LN3Diff支持哪些类型的条件生成？
LN3Diff支持基于文本描述和单目图片的条件生成。
LN3Diff在基准测试中的表现如何？
LN3Diff在多个基准测试中取得了优异成绩，并在ShapeNet和Objaverse数据集上表现出SoTA性能。
LN3Diff的开源情况如何？
LN3Diff的所有模型和代码已开源至Github和Huggingface，支持多卡训练和加速技巧。
LN3Diff如何提高3D生成的质量？
LN3Diff通过在3D隐空间直接进行diffusion采样和使用3D-aware VAE模型来提高3D生成的质量。
