ICLR 2025 Spotlight | 让城市「动」起来!DynamicCity突破4D大场景生成技术边界

ICLR 2025 Spotlight | 让城市「动」起来!DynamicCity突破4D大场景生成技术边界

💡 原文中文,约6700字,阅读约需16分钟。
📝

内容提要

DynamicCity是一个创新的4D场景生成框架,通过特征降维和扩散模型实现高质量动态场景生成,突破静态生成的局限。该项目由多所高校合作,支持可控生成,广泛应用于自动驾驶等领域。

🎯

关键要点

  • DynamicCity是一个创新的4D场景生成框架,突破静态生成的局限。
  • 该项目由多所高校合作,支持可控生成,广泛应用于自动驾驶等领域。
  • 3D生成技术在过去一年迎来爆发式增长,现有技术主要集中在静态场景生成。
  • 现有技术在生成大型3D场景时将环境视为静止的快照,缺乏动态交通流的真实反映。
  • DynamicCity通过特征降维和扩散模型实现高质量动态场景生成。
  • DynamicCity的核心思想是将4D场景压缩为2D HexPlane特征表示。
  • DynamicCity的主要贡献包括时空特征压缩、特征重组和可控生成。
  • DynamicCity采用HexPlane表征和DiT构建高效的4D场景生成框架。
  • 通过投影模块和ESS解码策略,DynamicCity提升了生成质量和训练效率。
  • DynamicCity支持多种可控生成方式,如轨迹引导生成和4D场景修改。
  • DynamicCity已被ICLR 2025接收为Spotlight论文,项目主页和代码已公开。

延伸问答

DynamicCity的主要创新点是什么?

DynamicCity的主要创新点在于通过特征降维和扩散模型实现高质量的4D动态场景生成,突破了静态生成的局限。

DynamicCity如何支持可控生成?

DynamicCity支持多种可控生成方式,包括轨迹引导生成、指令驱动生成和4D场景修改等功能。

DynamicCity的核心技术是什么?

DynamicCity的核心技术包括HexPlane特征表示、变分自编码器(VAE)和扩散模型(DiT),实现了高效的4D场景生成。

DynamicCity在生成质量和效率上有哪些提升?

DynamicCity在生成质量、训练速度和内存消耗上取得了显著提升,尤其是通过Expansion & Squeeze Strategy降低了内存消耗70.84%。

DynamicCity的应用领域有哪些?

DynamicCity广泛应用于自动驾驶等领域,能够为智能系统的训练与验证提供虚拟试验场。

DynamicCity的研究团队由哪些机构组成?

DynamicCity的研究团队包括上海人工智能实验室、卡耐基梅隆大学、新加坡国立大学和新加坡南洋理工大学。

➡️

继续阅读