VAST开源实时世界模型EdenLive!单消费级显卡、720P超24FPS

VAST开源实时世界模型EdenLive!单消费级显卡、720P超24FPS

💡 原文中文,约4900字,阅读约需12分钟。
📝

内容提要

VAST发布并开源实时世界模型EdenLive,首次实现任意参考输入、任意画风生成与长时连续运行。该模型采用状态维护与视觉渲染解耦路线,由上游交互系统维护世界状态,模型负责实时渲染。在单张RTX 5090、720P下,5B模型生成速度超24FPS,端到端延迟百毫秒级,可分钟级连续生成,适用于游戏预览、动画预览、视频换皮和具身数据增强。

🔎

延伸解读

解耦路线:状态与渲染各司其职

EdenLive采用“状态维护与视觉渲染解耦”的设计,由上游交互系统负责更新世界状态和交互规则,模型只负责根据参考画面实时渲染。这种分工让游戏逻辑和画面生成可以独立优化,也解释了为何它能同时处理2D、3D场景和实拍视频等多种输入。VAST称该路线早于行业共识约3-4个月,EdenLive是Project Eden的阶段性成果。

实时性能的边界与适用场景

在单张RTX 5090、720P条件下,5B模型生成速度超过24FPS,端到端延迟为百毫秒级,并支持分钟级连续生成。这些数据意味着它适合场景漫游、推箱子等交互相对低频的玩法预览,以及动画和视频换皮。但文章也指出,高频激烈交互对速度和动作呈现要求更高,当前版本并非为快节奏游戏设计。

已知局限:身份保持与长时一致性

VAST坦承EdenLive仍有改善空间:多个角色同时出现时的身份保持、小物体的精细控制,以及长时间生成中的视觉一致性都需提升。这些限制直接影响它在复杂游戏预览和长视频换皮中的可用性。读者在评估其开源权重和推理代码时,应结合这些边界判断是否匹配自己的场景,而非仅看24FPS的指标。

开源内容与上手入口

VAST开放了不同规格的模型权重和推理代码,同步公开技术报告与端到端Demo,还开源了Game Prototype Turbo,一款“Prompt to Proxy Game”Skill,可快速生成可游玩的游戏原型。对创作者而言,这意味着可以把已能运行的场景和玩法接入模型,在实际操作中尝试不同画风,再基于反馈修改作品。

❓

Q&A

VAST开源的EdenLive是什么?它有什么主要特点?

EdenLive是VAST发布并开源的实时世界模型,首次在实时生成前提下同时实现任意参考输入、任意画风生成和长时连续运行。它采用状态维护与视觉渲染解耦路线,由上游交互系统维护世界状态,模型负责实时渲染。

EdenLive在硬件和性能上的表现如何?

在单张消费级显卡Nvidia RTX 5090上、720P条件下,5B模型的生成速度超过24FPS,端到端延迟为百毫秒级,支持分钟级连续生成。

EdenLive可以应用在哪些场景?

EdenLive适用于交互式游戏预览(如2D/3D场景漫游、推箱子等低频交互玩法)、场景与动画预览(更换美术风格)、视频重渲染与换皮(实时替换角色形象或风格),以及具身数据增强(将人类操作视频转成机器人视角或修改物体外观)。

EdenLive的技术路线是什么?如何实现实时渲染?

EdenLive采用“解耦世界状态与视觉渲染”的核心技术,将世界如何运行与画面如何呈现分开处理。上游交互系统维护底层状态和运行规则(如角色位置、动作、血量),EdenLive则根据参考画面和状态变化实时生成精细视觉画面,形成从游戏逻辑到视觉呈现的完整链路。

EdenLive目前存在哪些局限性或待改进之处?

现阶段EdenLive对高频、激烈交互的生成速度和动作呈现有更高要求;多个角色同时出现时的身份保持、小物体的精细控制,以及长时间生成中的视觉一致性,也有进一步提升的空间。

如何获取EdenLive的代码和模型权重?

EdenLive的代码、项目主页、技术报告和开放权重均已公开,分别可通过GitHub(https://github.com/VAST-AI-Research/EdenLive)、项目主页(https://vast-eden.ai/?p=edenlive)、技术报告(https://assets.vast-eden.ai/assets/edenlive/EdenLive-tech-report.pdf)和Hugging Face(https://huggingface.co/VAST-AI/EdenLive)获取。

🏷️

标签

➡️

继续阅读