LeCun团队新作：在世界模型中导航

LeCun团队的导航世界模型NWM能够在已知和未知环境中生成视频，具备出色的导航能力。

NWM在单图生成视频方面略逊于DeepMind的Genie-2，但在场景理解和路径规划上表现优异。

NWM通过条件扩散Transformer实现高效导航，展现了先进的视觉导航性能。

NWM能够基于单张输入帧和给定的输入动作合成视频，具有相当不错的场景理解表现。

NWM不仅适用于已知环境，也能在未知环境中自回归式地预测后续帧。

NWM与外部导航策略NoMaD结合使用，能够生成轨迹视频并选出得分最高的轨迹。

NWM提出了一种全新的条件扩散Transformer（CDiT），能高效扩展到1B参数，计算需求小。

NWM在Ego4D等无动作和无奖励的视频数据上训练，能在未见过的环境中取得更好的视频预测性能。

NWM的数学描述包括接收当前世界状态和导航操作，根据智能体的视角生成下一个世界状态。

NWM使用条件扩散Transformer架构，通过高效的CDiT块实现自回归建模。

NWM能够模拟导航轨迹并选择能够达到目标的轨迹，适用于未知环境的长期规划。

实验结果显示NWM在多个数据集上表现优异，评估指标包括绝对轨迹误差和相对姿态误差。

NWM在已知环境中进行的消融实验表明，模型大小和上下文数量对预测性能有显著影响。

NWM的生成质量评估显示其视频质量优于DIAMOND，能够有效执行目标导向的导航。

NWM在规划时可以指定约束条件，能够在满足约束的同时进行有效规划。

NWM的泛化能力在未标注数据上进行训练后显著提升，能够在新环境中做出预测。