量子位
·
李飞飞发布全新世界模型，单GPU就能跑！
内容提要
李飞飞推出的新模型RTFM可在单张H100 GPU上实时运行，具备持久性和3D一致性。该模型采用自回归扩散变换器架构，能够从2D图像生成新视图，支持无限时长的交互，推动生成式世界建模的发展。
关键要点
-
李飞飞推出的新模型RTFM可在单张H100 GPU上实时运行，具备持久性和3D一致性。
-
RTFM采用自回归扩散变换器架构，能够从2D图像生成新视图，支持无限时长的交互。
-
该模型设计遵循效率、可扩展性和持久性三大核心原则。
-
生成式世界模型对算力的需求将远超当前大型语言模型，需处理的上下文token将突破1亿。
-
李飞飞团队的目标是设计一款高效、可立即部署的生成式世界模型。
-
RTFM通过训练单一神经网络，无需构建显式3D表征即可生成新视图。
-
RTFM模糊了重建与生成之间的界限，能够在不同输入视角下执行不同任务。
-
模型通过将每一帧建模为具有姿态的空间记忆，解决了持久性的问题。
-
RTFM的上下文切换技术使得模型在长时间交互中保持对大型世界的持久记忆。
-
该模型现已以预览版形式开放体验。
延伸解读
技术背景与发展趋势
李飞飞的RTFM模型代表了生成式世界建模领域的重要进展。随着技术的不断演进，生成式世界模型对算力的需求将显著高于当前大型语言模型，这意味着未来的应用场景将需要更强大的计算资源来支持复杂的交互和实时生成。
持久性与交互体验
RTFM模型通过将每一帧视为具有空间姿态的记忆，解决了持久性的问题。这种设计使得用户可以在长时间的交互中保持对虚拟世界的记忆，提升了用户体验，尤其在需要频繁视角切换的应用场景中，表现尤为突出。
模型架构的创新
RTFM采用自回归扩散变换器架构，模糊了重建与生成之间的界限。这一创新使得模型能够在不同输入视角下灵活执行任务，展现出更高的适应性和效率，推动了生成式建模技术的进一步发展。
延伸问答
RTFM模型的主要特点是什么？
RTFM模型具备实时运行、持久性和3D一致性，且仅需单张H100 GPU即可运行。
RTFM模型如何处理持久性问题？
RTFM通过将每一帧建模为具有姿态的空间记忆，解决了持久性的问题，确保用户可以无限时长与模型交互。
RTFM模型的架构有什么创新之处？
RTFM采用自回归扩散变换器架构，通过训练单一神经网络，无需构建显式3D表征即可生成新视图。
生成式世界模型对算力的需求如何？
生成式世界模型的算力需求将远超当前大型语言模型，需处理的上下文token将突破1亿。
RTFM模型的上下文切换技术有什么作用？
上下文切换技术使得RTFM在长时间交互中保持对大型世界的持久记忆，优化了生成新帧的过程。
RTFM模型的预览版何时开放体验？
RTFM模型的预览版已于即日起开放体验，用户可以立即试用。
