通过与大型语言模型的自然交互增量学习机器人行为

在这篇论文中，我们提出了一种通过自然交互实现复杂行为的增量学习系统，并在一个人形机器人上进行实现。我们利用大型语言模型（LLMs）对机器人行为进行高层次编排，通过在交互控制台中生成 Python 语句来调用机器人的感知和动作，实现交互循环，通过人类指令、环境观测和执行结果反馈给 LLM 来生成下一个语句，从而实现了通过交互学习改进机器人行为的目的。

该文介绍了一种新的学习框架，使机器人能够遵循自然语言路线指令，无需先前环境知识。该算法利用空间和语义信息学习环境度量和属性分布，并将自然语言指令解释为预期行为分布。通过推理地图和状态分布，使用新型置信空间规划器直接求解策略，该算法能够成功地遵循自然语言路线指令。