GigaWorld-Policy——以动作为中心的世界动作模型：为降低推理延迟，训练用视频，推理能可选性的去视频(类似τ0-WM)
内容提要
GigaWorld-Policy是一种高效的以动作为中心的世界-动作模型，旨在提升机器人策略学习。该模型结合未来视觉动态与动作预测，优化学习效率并减少推理延迟。通过课程式训练和多样化视频源注入物理先验，在机器人数据上进行预训练，以增强对交互动力学的鲁棒性。
关键要点
-
GigaWorld-Policy是一种高效的以动作为中心的世界-动作模型，旨在提升机器人策略学习。
-
该模型结合未来视觉动态与动作预测，优化学习效率并减少推理延迟。
-
GigaWorld-Policy通过课程式训练和多样化视频源注入物理先验，在机器人数据上进行预训练，以增强对交互动力学的鲁棒性。
-
模型在推理阶段可以选择不进行显式的未来视频预测，直接输出控制指令，从而降低计算和内存开销。
-
GigaWorld-Policy的架构采用了一个参数规模为50亿的扩散Transformer，能够在多视角间进行一致的联合推理。
延伸解读
GigaWorld-Policy的创新点
GigaWorld-Policy通过将未来视觉动态与动作预测结合，显著提升了机器人策略学习的效率。与传统方法相比，该模型在推理阶段可选择不进行显式的视频生成，从而降低了计算和内存开销，避免了误差累积带来的延迟。这种设计使得机器人能够更快速地响应环境变化，适用于实时控制场景。
课程式训练的优势
GigaWorld-Policy采用课程式训练流程，先注入多样化视频源中的物理先验，再在机器人数据上进行预训练。这种方法不仅增强了模型对交互动力学的鲁棒性，还提高了学习效率。通过结合真实机器人录制与大规模自我视角的人类视频，模型能够更好地适应复杂的实际应用场景。
推理阶段的灵活性
在推理阶段，GigaWorld-Policy允许模型在“仅动作”模式下运行，直接输出控制指令。这种灵活性使得模型能够在不依赖长序列视频的情况下，快速做出决策，适合需要低延迟反应的应用，如自动驾驶或实时机器人控制。
延伸问答
GigaWorld-Policy的主要目标是什么？
GigaWorld-Policy旨在提升机器人策略学习，优化学习效率并减少推理延迟。
GigaWorld-Policy如何减少推理延迟？
该模型在推理阶段可以选择不进行显式的未来视频预测，直接输出控制指令，从而降低计算和内存开销。
GigaWorld-Policy的训练方法是什么？
GigaWorld-Policy通过课程式训练和多样化视频源注入物理先验，在机器人数据上进行预训练。
GigaWorld-Policy的架构特点是什么？
该模型采用了一个参数规模为50亿的扩散Transformer，能够在多视角间进行一致的联合推理。
GigaWorld-Policy如何增强对交互动力学的鲁棒性？
通过在预训练中结合真实机器人录制与大规模自我视角的人类视频，提升其对具身特定视角与交互动力学的鲁棒性。
GigaWorld-Policy与其他模型相比有什么优势？
GigaWorld-Policy减少了对显式视频生成的依赖，降低了推理延迟，并避免了长时间视觉展开带来的误差累积。
