Luce：用于3D资产生成的可重光照高斯模型
内容提要
Luce是一种3D表示方法，将几何与PBR材质统一在体素化多模态高斯云中，通过变分自编码器压缩到材质感知潜空间，并用整流流变换器从单张图像生成。在Toys4K数据集上，Luce的FID较最强基线提升28%，在AI生成图像基准上CLIP对齐分数达0.8519，优于基线，能生成可重光照、几何精确且保留细节的3D资产。
延伸解读
为何可重光照对3D资产生成重要
传统图像转3D方法常生成固定光照下的模型，难以直接用于游戏或影视等标准渲染流程。Luce通过引入PBR材质（如反照率、金属粗糙度、法线）和可重光照高斯，使生成资产能适应不同光照环境，提升实用性和集成便利性。
Luce的技术核心：多模态高斯与潜空间
Luce将几何与PBR材质统一在体素化多模态高斯云中，每种模态使用专用高斯原语，并通过变分自编码器压缩到材质感知潜空间。这种设计让整流流变换器能从单张图像生成高质量3D资产，同时保留细节如文字、标志和铭文。
性能提升与基准测试
在Toys4K数据集上，Luce的FID较最强基线提升28%，在AI生成图像基准上CLIP对齐分数达0.8519，优于基线（0.8299）。这表明Luce在生成可重光照、几何精确且材质逼真的3D资产方面具有显著优势。
Q&A
Luce是什么？它如何表示3D资产？
Luce是一种3D表示方法，将几何与PBR材质统一在体素化多模态高斯云中，每个模态使用专门的高斯原语。它通过变分自编码器压缩到材质感知潜空间，并用整流流变换器从单张图像生成。
Luce如何从单张图像生成3D资产？
Luce使用预训练图像编码器的多层特征作为条件，这些特征保留语义和空间细节，然后通过整流流变换器生成材质感知潜空间的潜在表示，最后解码为可重光照的PBR高斯和可选纹理网格。
Luce在Toys4K数据集上的性能如何？
在Toys4K数据集上，Luce实现了最先进的单图像到3D生成，FID比最强基线提升28%。
Luce在AI生成图像基准上的表现如何？
在AI生成图像基准上，Luce的CLIP图像对齐分数达到0.8519，优于最强基线的0.8299。
Luce生成的3D资产有哪些特点？
Luce生成的3D资产是可重光照的、几何精确的、材质保真的，并且能保留细节，如文字、标志和铭文。
Luce的3D表示包含哪些PBR材质模态？
Luce的3D表示包含PBR材质模态，如反照率、金属-粗糙度和表面法线。
