两篇论文同时获最佳论文荣誉提名，SIGGRAPH上首个Real-Time Live的中国团队用生成式AI创建3D世界
内容提要
上海科技大学MARS实验室的团队在SIGGRAPH 2024大会上获得两篇最佳论文提名，研究成果是使用生成模型将想象力转化为复杂的3D模型。他们展示了基于这两项工作的应用场景，通过单张图片生成不同风格的卡通形象。
延伸解读
3D生成的技术路线之争：2D升维 vs 3D原生
文章对比了3D生成的两种技术路线：2D升维和3D原生。2D升维利用2D扩散模型结合NeRF等方法，能生成多样化结果，但3D先验不足，易产生几何结构不合理的问题，且生成几何常不完整、缺乏细节。3D原生则直接从3D数据集训练，能更好理解并保留几何特征，但需要大量高质量3D数据。CLAY选择3D原生路线，通过定制数据处理流程和模型扩展，实现了对几何的精确控制。
CLAY如何对齐3D工业标准：两阶段方案与条件控制
文章指出，3D生成模型仅视觉表现好不够，还需符合工业标准，如材质表现、面片规划、结构合理等。CLAY采用两阶段方案：先几何优化确保结构完整性和兼容性，进行四边面化、UV展开等；再材质合成，通过多视图材质扩散模型生成PBR材质，反向投影到UV maps。此外，CLAY设计了3D版ControlNet，支持文本、图像、体素、点云等多种条件控制，使生成内容更符合生产需求。
从实验室到产业：Rodin的落地与影响
基于CLAY的3D AI引擎Rodin已接近Production-Ready，成为许多3D开发者的常用生成器。用户反馈其生成的3D资产几何科学、布线规则、材质贴图精致，可直接导入主流渲染引擎。Rodin支持单张图片生成3D内容，并能生成PBR纹理和四角面，方便艺术家修改。文章还提到，3D生成技术将对图像和视频生成产生积极影响，因为3D模型化能锚定收敛方向，提高可控性。
Q&A
上海科技大学MARS实验室在SIGGRAPH 2024大会上获得了什么荣誉？
上海科技大学MARS实验室在SIGGRAPH 2024大会上获得了两篇最佳论文提名。
CLAY和DressCode论文的主题分别是什么？
CLAY的主题是3D生成，DressCode的主题是3D服装生成。
CLAY模型是如何处理3D数据的？
CLAY模型直接从3D数据集训练生成模型，采用定制的数据处理流程，确保几何特征的保留。
Rodin引擎的主要功能是什么？
Rodin引擎可以生成PBR纹理和四角面，方便艺术家修改和使用，同时支持通过简单几何元素控制生成形状。
CLAY模型如何实现对几何的精确控制？
CLAY模型允许用户通过提示词调整生成的复杂度和风格，从而实现对几何的精确控制。
CLAY的3D生成技术对行业有什么影响？
CLAY的3D生成技术将对图像和视频生成产生积极影响，并指引业界方向。
