Gemini 1.5 Pro装进机器人，参观一遍公司就能礼宾、带路
原文中文，约5100字，阅读约需12分钟。
📝
内容提要
谷歌DeepMind的机器人使用Gemini 1.5 Pro进行多模态指示导航，结合了语言和视觉上下文。研究者通过示范游览视频和拓扑图解决了MINT问题，提高了机器人的零样本性能。实验结果显示，Mobility VLA在现实环境中表现出色，长上下文VLM和拓扑图是成功的关键。
❓
Q&A
Gemini 1.5 Pro如何提升机器人的导航能力？
Gemini 1.5 Pro通过提供百万级token的上下文长度，增强了机器人的环境记忆能力，从而提升了导航能力。
Mobility VLA的导航策略有什么特点？
Mobility VLA结合了长上下文VLM的环境理解和常识推理能力，以及基于拓扑图的低级导航策略，形成分层式导航。
Mobility VLA在现实环境中的成功率是多少？
Mobility VLA在现实环境中的成功率达到了86%和90%。
示范游览视频在机器人导航中起到什么作用？
示范游览视频帮助机器人更好地理解环境，并执行多模态指令，从而提高导航效率。
拓扑图在Mobility VLA中有什么重要性？
拓扑图对于实现机器人的零样本导航至关重要，缺乏拓扑图会导致成功率为0%。
Mobility VLA如何解决MINT问题？
Mobility VLA通过结合长上下文VLM和拓扑图，提供了稳健的低级导航策略，从而有效解决MINT问题。
🏷️
