NaVILA——可语音交互的用于四足和人形导航与避障的VLA模型:在VLM的导航规划下,执行基于视觉的运动策略(含NaVILA和rsl_rl的源码解析)

如此前的博客所说,我司「七月在线」正在并行开发多个订单,目前正在全力做好每一个订单,因为保密协议的原因,暂时没法拿出太多细节出来分享​但可以持续解读我们所创新改造或的对象,即解读paper和开源库「当然 有些paper/库还没开始用,但也可以提前解读,作为关注了解而其中有一个订单涉及到行走之外的导航、避障,项目组在确定解决方案的过程中,看到了NaVILA这个工作,故本文来解读下。

本文介绍了「七月在线」开发的NaVILA框架,旨在提升腿式机器人在视觉与语言导航中的能力。NaVILA将高级语言指令转化为中级动作,并结合低级运动策略,提高了导航效率。该框架利用真实视频数据训练,显著提升了机器人在复杂环境中的成功率,展现了广泛的应用潜力。

原文中文,约6900字,阅读约需17分钟。发表于:
阅读原文