全球首款 !中国团队把游戏世界模型塞进一张5090,还开源了

全球首款 !中国团队把游戏世界模型塞进一张5090,还开源了

💡 原文中文,约4600字,阅读约需11分钟。
📝

内容提要

昆仑万维发布Matrix-Game 4.0,为全球首款可在单张RTX 5090上实时运行的开源游戏世界模型。其核心思路是“给视频模型套上Harness”:游戏引擎用代码维护世界状态与规则,视频模型仅负责实时生成画面,从而实现盾牌耐久、血量结算等真实游戏逻辑。通过结构草图、动态Caption、少步蒸馏等优化,按键响应不到0.15秒,60帧运行,显存峰值约18.5GiB,并开源模型与代码。

🔎

延伸解读

技术路线对比:显式规则与隐式生成

Matrix-Game 4.0与谷歌Genie等路线不同,后者让视频模型隐式记忆世界,可能导致规则脱缰。Matrix-Game 4.0将世界状态和规则交给游戏引擎显式维护,视频模型仅负责画面生成。这种分工确保即使视觉生成有偏差,也不会影响血量、道具等游戏逻辑,提升了可玩性和稳定性。

性能与硬件门槛:单卡实时运行

Matrix-Game 4.0在单张RTX 5090上实现60帧运行,按键响应不到0.15秒,显存峰值约18.5GiB。相比英伟达StreamRender-H3需8张GB200,硬件门槛大幅降低。但需注意,两者分辨率和延迟统计口径不完全一致,不能直接比较性能优劣。

开源意义:推动社区探索

昆仑万维从Matrix-Game 1.0起坚持开源,4.0开源模型与代码。当前世界模型技术路线未收敛,开源让开发者能复现、修改规则、测试新场景,加速试错。这延续了中国团队在大语言模型、多模态后的开源趋势,但480p画质和长期稳定性仍是待解问题。

❓

Q&A

Matrix-Game 4.0是什么?它有什么主要特点?

Matrix-Game 4.0是昆仑万维旗下Skywork AI发布的全球首款可在单张RTX 5090上实时运行的开源游戏世界模型。其主要特点包括:采用“给视频模型套上Harness”的思路,由游戏引擎维护世界状态和规则,视频模型负责生成画面;按键响应时间不到0.15秒,运行帧率60帧,显存峰值约18.5GiB;模型和代码均已开源。

Matrix-Game 4.0如何实现游戏逻辑与画面生成的分离?

Matrix-Game 4.0将任务拆分为三部分:玩家用自然语言表达想法,Coding Agent将其写成游戏代码;游戏引擎作为“裁判”,维护世界状态、执行游戏规则并生成结构草图;视频模型作为“画师”,根据草图实时生成最终画面。这样,世界状态由代码明确记录,即使视觉生成有偏差,也不会影响玩家血量、道具归属等游戏逻辑。

Matrix-Game 4.0在单张RTX 5090上的性能表现如何?

Matrix-Game 4.0在单张RTX 5090上,按键响应时间不到0.15秒,游戏以60 FPS运行,显存峰值约18.5GiB。单步去噪时视频模型稳态生成速度达83 FPS,两步去噪时约57 FPS。文本编码器、DiT和VAE全部常驻显卡。

Matrix-Game 4.0与英伟达StreamRender-H3相比有什么优势?

Matrix-Game 4.0与StreamRender-H3都采用“代码运行世界、视频模型生成画面”的路线。但Matrix-Game 4.0从按键到画面显示约需112ms,而StreamRender-H3估算端到端延迟约为545ms;硬件上,Matrix-Game 4.0只需一张RTX 5090,而StreamRender-H3需要8张GB200 GPU。不过两者分辨率和延迟统计口径不完全一致,不能直接比较。

Matrix-Game 4.0在工程上做了哪些优化来降低算力需求?

Matrix-Game 4.0从三方面减负:第一,减少模型需要猜的东西,使用UE5制作成对数据训练模型根据结构草图生成精细画面,并动态生成Caption说明对象和状态;第二,减少模型需要记的东西,基于Wan2.2 5B Fun Control改造V2V模型,每次生成参考空间记忆图、首帧和近期历史缓存;第三,减少模型需要计算的东西,通过少步自回归蒸馏将去噪压缩到1-2步,一次生成四帧,并采用CUDA Graph、FP8融合算子、KV环形缓存和轻量编解码器。

Matrix-Game 4.0开源了哪些内容?在哪里可以获取?

Matrix-Game 4.0开源了完整模型权重、详细技术报告和配套全流程代码。可以通过以下链接获取:GitHub仓库 https://github.com/SkyworkAI/Matrix-Game,Hugging Face模型页 https://huggingface.co/Skywork/Matrix-Game-4.0,项目主页 https://matrix-game-v4-0.github.io/page/。

🏷️

标签

➡️

继续阅读