量子位
·
李飞飞发布全新世界模型，单GPU就能跑！
💡
原文中文，约2600字，阅读约需7分钟。
📝
内容提要
李飞飞推出的新模型RTFM可在单张H100 GPU上实时运行，具备持久性和3D一致性。该模型采用自回归扩散变换器架构，能够从2D图像生成新视图，支持无限时长的交互，推动生成式世界建模的发展。
🎯
关键要点
- 李飞飞推出的新模型RTFM可在单张H100 GPU上实时运行，具备持久性和3D一致性。
- RTFM采用自回归扩散变换器架构，能够从2D图像生成新视图，支持无限时长的交互。
- 该模型设计遵循效率、可扩展性和持久性三大核心原则。
- 生成式世界模型对算力的需求将远超当前大型语言模型，需处理的上下文token将突破1亿。
- 李飞飞团队的目标是设计一款高效、可立即部署的生成式世界模型。
- RTFM通过训练单一神经网络，无需构建显式3D表征即可生成新视图。
- RTFM模糊了重建与生成之间的界限，能够在不同输入视角下执行不同任务。
- 模型通过将每一帧建模为具有姿态的空间记忆，解决了持久性的问题。
- RTFM的上下文切换技术使得模型在长时间交互中保持对大型世界的持久记忆。
- 该模型现已以预览版形式开放体验。
❓
延伸问答
RTFM模型的主要特点是什么？
RTFM模型具备实时运行、持久性和3D一致性，且仅需单张H100 GPU即可运行。
RTFM模型如何处理持久性问题？
RTFM通过将每一帧建模为具有姿态的空间记忆，解决了持久性的问题，确保用户可以无限时长与模型交互。
RTFM模型的架构有什么创新之处？
RTFM采用自回归扩散变换器架构，通过训练单一神经网络，无需构建显式3D表征即可生成新视图。
生成式世界模型对算力的需求如何？
生成式世界模型的算力需求将远超当前大型语言模型，需处理的上下文token将突破1亿。
RTFM模型的上下文切换技术有什么作用？
上下文切换技术使得RTFM在长时间交互中保持对大型世界的持久记忆，优化了生成新帧的过程。
RTFM模型的预览版何时开放体验？
RTFM模型的预览版已于即日起开放体验，用户可以立即试用。
➡️
