两篇论文同时获最佳论文荣誉提名,SIGGRAPH上首个Real-Time Live的中国团队用生成式AI创建3D世界

两篇论文同时获最佳论文荣誉提名,SIGGRAPH上首个Real-Time Live的中国团队用生成式AI创建3D世界

💡 原文中文,约4200字,阅读约需10分钟。
📝

内容提要

上海科技大学MARS实验室的团队在SIGGRAPH 2024大会上获得两篇最佳论文提名,研究成果是使用生成模型将想象力转化为复杂的3D模型。他们展示了基于这两项工作的应用场景,通过单张图片生成不同风格的卡通形象。

🎯

关键要点

  • 上海科技大学MARS实验室在SIGGRAPH 2024大会上获得两篇最佳论文提名。
  • 研究成果使用生成模型将想象力转化为复杂的3D模型。
  • 最佳论文提名的两篇论文分别是CLAY和DressCode,主题为3D生成和3D服装生成。
  • 团队展示了基于CLAY的3D生成解决方案,通过单张图片生成不同风格的卡通形象。
  • 新一代3D AI引擎Rodin可以生成PBR纹理和四角面,方便艺术家修改和使用。
  • CLAY采用3D原生的技术路线,直接从3D数据集训练生成模型,保留几何特征。
  • CLAY模型训练使用了定制的数据处理流程,汇集了多个3D数据集。
  • CLAY实现了对几何的精确控制,用户可以通过提示词调整生成的复杂度和风格。
  • 研究者设计了两阶段方案,确保生成模型的结构完整性和材质真实感。
  • CLAY支持多种条件控制,提供广泛的创作可能性。
  • Rodin已成为许多3D开发者的常用生成器,接近Production-Ready。
  • CLAY的3D生成技术将对图像和视频生成产生积极影响。
  • 3D领域需要补齐完整链条,用户才能接受3D + AI的能力。
➡️

继续阅读