本研究提出了doScenes数据集，旨在解决自主车辆如何有效整合人类指令的问题。该数据集结合多模态传感器数据与自然语言指令，为人机协作导航开发新策略奠定基础。

研究者们提出了一种框架，旨在创建能够理解人类指令并在开放环境中执行任务的人工智能代理。通过模仿人类互动并结合强化学习，这些代理能够在虚拟环境中实时交流和协作，完成多种任务。该框架的目标是使AI能够根据人类的自然表达进行反应，而不仅仅依赖于预设的行为计划。