Gemini 1.5 Pro装进机器人，参观一遍公司就能礼宾、带路
内容提要
谷歌DeepMind的机器人使用Gemini 1.5 Pro进行多模态指示导航，结合了语言和视觉上下文。研究者通过示范游览视频和拓扑图解决了MINT问题，提高了机器人的零样本性能。实验结果显示，Mobility VLA在现实环境中表现出色，长上下文VLM和拓扑图是成功的关键。
延伸解读
长上下文VLM的环境记忆优势
Gemini 1.5 Pro的百万级token上下文使其能处理完整的示范游览视频，而传统VLM因上下文限制只能输入有限图像，导致环境理解保真度不足。实验显示，降低游览视频帧频会丢失目标帧，从而降低高层目标查找成功率。只有Gemini 1.5 Pro的长上下文能力达到了令人满意的成功率，这凸显了长上下文在大型环境导航中的关键作用。
拓扑图：零样本导航的基石
实验表明，若没有拓扑图，即使使用Gemini 1.5 Pro，机器人零样本导航成功率也为0%。因为VLM不擅长直接输出机器人动作，且每次推理需上传全部948幅图像，导致每移动1米耗时26秒。而Mobility VLA通过拓扑图将高层目标帧转换为低级航点，每步仅需0.19秒，实现了高效稳健的导航。拓扑图弥补了VLM训练分布与机器人行动之间的差距。
实际部署的稳健性与效率
在836平方米的办公室和家庭环境中，Mobility VLA对复杂推理和多模态指令的端到端成功率达到86%和90%，且低级目标达成成功率为100%。值得注意的是，示范游览视频录制于实验前几个月，物体、家具和照明条件均已变化，但系统仍能稳健工作。这表明基于拓扑图和长上下文VLM的方法对环境变化具有较好的鲁棒性，适合实际长期部署。
Q&A
Gemini 1.5 Pro如何提升机器人的导航能力？
Gemini 1.5 Pro通过提供百万级token的上下文长度，增强了机器人的环境记忆能力，从而提升了导航能力。
Mobility VLA的导航策略有什么特点？
Mobility VLA结合了长上下文VLM的环境理解和常识推理能力，以及基于拓扑图的低级导航策略，形成分层式导航。
Mobility VLA在现实环境中的成功率是多少？
Mobility VLA在现实环境中的成功率达到了86%和90%。
示范游览视频在机器人导航中起到什么作用？
示范游览视频帮助机器人更好地理解环境，并执行多模态指令，从而提高导航效率。
拓扑图在Mobility VLA中有什么重要性？
拓扑图对于实现机器人的零样本导航至关重要，缺乏拓扑图会导致成功率为0%。
Mobility VLA如何解决MINT问题？
Mobility VLA通过结合长上下文VLM和拓扑图，提供了稳健的低级导航策略，从而有效解决MINT问题。
