内容提要
VAST发布并开源实时世界模型EdenLive,首次实现任意参考输入、任意画风生成与长时连续运行。该模型采用状态维护与视觉渲染解耦路线,由上游交互系统维护世界状态,模型负责实时渲染。在单张RTX 5090、720P下,5B模型生成速度超24FPS,端到端延迟百毫秒级,可分钟级连续生成,适用于游戏预览、动画预览、视频换皮和具身数据增强。
延伸解读
解耦路线:状态与渲染各司其职
EdenLive采用“状态维护与视觉渲染解耦”的设计,由上游交互系统负责更新世界状态和交互规则,模型只负责根据参考画面实时渲染。这种分工让游戏逻辑和画面生成可以独立优化,也解释了为何它能同时处理2D、3D场景和实拍视频等多种输入。VAST称该路线早于行业共识约3-4个月,EdenLive是Project Eden的阶段性成果。
实时性能的边界与适用场景
在单张RTX 5090、720P条件下,5B模型生成速度超过24FPS,端到端延迟为百毫秒级,并支持分钟级连续生成。这些数据意味着它适合场景漫游、推箱子等交互相对低频的玩法预览,以及动画和视频换皮。但文章也指出,高频激烈交互对速度和动作呈现要求更高,当前版本并非为快节奏游戏设计。
已知局限:身份保持与长时一致性
VAST坦承EdenLive仍有改善空间:多个角色同时出现时的身份保持、小物体的精细控制,以及长时间生成中的视觉一致性都需提升。这些限制直接影响它在复杂游戏预览和长视频换皮中的可用性。读者在评估其开源权重和推理代码时,应结合这些边界判断是否匹配自己的场景,而非仅看24FPS的指标。
开源内容与上手入口
VAST开放了不同规格的模型权重和推理代码,同步公开技术报告与端到端Demo,还开源了Game Prototype Turbo,一款“Prompt to Proxy Game”Skill,可快速生成可游玩的游戏原型。对创作者而言,这意味着可以把已能运行的场景和玩法接入模型,在实际操作中尝试不同画风,再基于反馈修改作品。
Q&A
VAST开源的EdenLive是什么?它有什么主要特点?
EdenLive是VAST发布并开源的实时世界模型,首次在实时生成前提下同时实现任意参考输入、任意画风生成和长时连续运行。它采用状态维护与视觉渲染解耦路线,由上游交互系统维护世界状态,模型负责实时渲染。
EdenLive在硬件和性能上的表现如何?
在单张消费级显卡Nvidia RTX 5090上、720P条件下,5B模型的生成速度超过24FPS,端到端延迟为百毫秒级,支持分钟级连续生成。
EdenLive可以应用在哪些场景?
EdenLive适用于交互式游戏预览(如2D/3D场景漫游、推箱子等低频交互玩法)、场景与动画预览(更换美术风格)、视频重渲染与换皮(实时替换角色形象或风格),以及具身数据增强(将人类操作视频转成机器人视角或修改物体外观)。
EdenLive的技术路线是什么?如何实现实时渲染?
EdenLive采用“解耦世界状态与视觉渲染”的核心技术,将世界如何运行与画面如何呈现分开处理。上游交互系统维护底层状态和运行规则(如角色位置、动作、血量),EdenLive则根据参考画面和状态变化实时生成精细视觉画面,形成从游戏逻辑到视觉呈现的完整链路。
EdenLive目前存在哪些局限性或待改进之处?
现阶段EdenLive对高频、激烈交互的生成速度和动作呈现有更高要求;多个角色同时出现时的身份保持、小物体的精细控制,以及长时间生成中的视觉一致性,也有进一步提升的空间。
如何获取EdenLive的代码和模型权重?
EdenLive的代码、项目主页、技术报告和开放权重均已公开,分别可通过GitHub(https://github.com/VAST-AI-Research/EdenLive)、项目主页(https://vast-eden.ai/?p=edenlive)、技术报告(https://assets.vast-eden.ai/assets/edenlive/EdenLive-tech-report.pdf)和Hugging Face(https://huggingface.co/VAST-AI/EdenLive)获取。