刚刚，李飞飞掀桌！全球首个多模态世界模型发布，几张照片省掉几百个机位
内容提要
World Labs发布全球首个多模态世界模型Atlas，支持相机控制生成、空间重建与时空模拟，可从少量照片生成1分钟1440p视频，并补全未拍摄区域。其空间重建能力优于现有模型，旨在解决具身智能训练数据不足问题，通过Real to Sim路线降低仿真成本。Atlas采用多模态自回归扩散Transformer架构，在盲测中胜率高达94%，未来将作为Marble平台底层模型。
延伸解读
相机控制生成：从“玄学抽奖”到“参数驱动”
传统视频生成模型对镜头运动的控制往往依赖文本提示，结果难以预测。Atlas 将相机位姿参数作为原生输入，用户可直接指定角度、轨迹和速度，生成最长 1 分钟、1440p 的视频。这种设计显著提升了镜头运动的可控性和空间一致性，但需注意，当镜头进入原图未覆盖区域时，模型仍需依赖先验猜测，可能出现几何漂移或纹理闪烁，并非精确的三维重建。
空间重建：低成本“Real to Sim”的潜力与局限
Atlas 的空间重建能力允许从少量照片（2-25张）生成可漫游的三维场景，在 DTU 等数据集上稀疏视角重建误差（AbsRel×10⁻³）为 25.3，优于 Pi3X（28.7）等模型。这为机器人训练提供了“Real to Sim”路线，可大幅降低仿真环境搭建成本。但重建质量受输入视角数量和覆盖范围影响，视角跨度越大，误差越明显，因此更适合作为快速生成仿真环境的工具，而非高精度测绘替代方案。
技术架构与盲测胜率：优势与适用场景
Atlas 采用多模态自回归扩散 Transformer，融合自回归预测与扩散去噪，兼顾时空序列建模与高维信号生成。在镜头运动控制的盲测中，Atlas 对 MiniMax H3、Gemini Omni Flash、FLUX 3、Seedance 2.5 的胜率分别为 75%、81%、93%、94%，显示出明显优势。但需注意，盲测可能侧重特定任务，实际应用中仍需根据具体场景评估其泛化能力。
Q&A
Atlas是什么？它由哪家公司发布？
Atlas是全球首个多模态世界模型，由李飞飞创办的World Labs发布。它是一个面向空间智能的omni world model，从零开始预训练，能原生处理文本、图像、视频、相机位姿与3D深度信息，并在同一模型中完成世界生成、空间重建和时空模拟。
Atlas的相机控制生成功能有什么特别之处？
Atlas的相机控制生成功能允许用户直接输入相机位姿参数来控制镜头运动，而不是像传统视频生成模型那样依赖文本提示。用户只需提供1到6张普通照片，并设定运镜轨迹，Atlas就能生成最长1分钟、1440p分辨率的视频，且画面空间几何一致。
Atlas的空间重建能力如何？与传统方法相比有何优势？
Atlas的空间重建能力显著优于传统方法。例如，在DTU、ETH3D、ScanNet等数据集上，Atlas的稀疏视角重建误差（AbsRel ×10⁻³）为25.3，而Pi3X为28.7，Depth Anything 3为39.3，MapAnything为47.7。它只需2到25张游客视角的照片即可重建场景，而传统3D高斯泼溅或点云扫描需要拍摄数百上千张照片。
Atlas如何帮助解决具身智能训练数据不足的问题？
Atlas通过Real to Sim路线解决具身智能训练数据不足的问题。用户只需用手机拍摄工厂或房间的视频，Atlas就能生成高精度的3D物理空间，机器人可以在其中进行大量试错训练。它还能实时渲染机器人视角的RGB图和深度图，并模拟受力反馈，从而大幅降低仿真环境的搭建成本。
Atlas采用了什么技术架构？
Atlas采用了多模态自回归扩散Transformer架构，结合了多模态处理、自回归预测、扩散机制和Transformer底座。它原生处理文本、图像、视频、相机位姿和3D深度，通过自回归逐级预测空间状态，利用扩散机制（Rectified Flow）去噪保证画质，并以Transformer为基础适配现有算力。
Atlas在盲测中的表现如何？
在针对镜头运动控制的真人盲测中，Atlas的胜率显著高于其他模型：对MiniMax H3胜率75%，对Gemini Omni Flash胜率81%，对FLUX 3胜率93%，对Seedance 2.5胜率94%。
Atlas除了视频生成和空间重建，还有哪些能力？
Atlas还具备图像生成能力，能处理复杂Prompt、文字渲染以及多种风格（写实、电影感、油画、漫画等）。此外，它还能根据文字或图片生成360°全景图，这要求模型具备更高的空间理解能力。
Atlas的Scaling特性是什么？
Atlas的Scaling特性指随着参数量和计算力的增加，模型展现出类似大语言模型的涌现能力，即性能突然提升。官方博客强调暴力Scaling依然是版本答案。
Atlas目前的应用状态和未来计划是什么？
Atlas目前已经向部分合作伙伴开放Early Access，并将在未来成为Marble和World Labs其他产品的底层模型。
