李飞飞空间智能独角兽开源底层技术!AI生成3D世界在所有设备流畅运行

💡 原文中文,约1900字,阅读约需5分钟。
📝

内容提要

李飞飞的创业公司World Labs开源了Forge渲染器,支持实时渲染AI生成的3D世界。Forge采用3D高斯溅射技术,便于开发者处理3D内容,具备动态和可编程特性,旨在提升多模态AI表现,预计2025年推出首款产品。

🎯

关键要点

  • 李飞飞的创业公司World Labs开源了Forge渲染器,支持实时渲染AI生成的3D世界。
  • Forge是一款Web端3D高斯泼溅渲染器,具备动态和可编程特性。
  • Forge底层为GPU优化设计,类似于传统3D图形领域的基础组件“着色器”。
  • Forge支持多个splat对象、多个摄像头以及实时动画/编辑,简化了开发者的工作。
  • 3D高斯溅射技术通过微小的高斯形状斑点表示3D场景,已成为生成式AI和3D重建的主流方案。
  • Forge被设计为可编程的3DGS引擎,能够控制3DGS的生成、动画和渲染。
  • ForgeRenderer是管理splat排序的关键组件,使用高效的bucket sort算法确定绘制顺序。
  • Forge支持用户可编程的数据流水线,允许对每个splat进行复杂的实时程序生成。
  • World Labs已完成超过2.3亿美元融资,目标是将多模态AI提升到完整的三维世界,预计2025年推出首款产品。
  • Forge渲染器是开发者工具的一部分,未来还将推出更多针对专业人士的工具。
➡️

继续阅读