从 LLMs 到行动：潜在代码作为层次机器人控制中的桥梁
内容提要
本文展示了大型语言模型（LLMs）在机器人动作规划中的应用实验。通过自然语言推理，模型生成控制命令，提高任务成功率并实现技能转移。研究表明，LLMs在策略生成和复杂任务执行方面具有显著优势，优化了机器人任务并提升了远程操控效率。
延伸解读
自然语言作为策略桥梁的优势
文章指出，通过自然语言推理获取任务和场景描述，并直接输出坐标级控制命令，可以减少中间表示代码的必要性。这种方法在多模态提示仿真基准上评估，显示出自然语言推理改善任务成功率的潜力，并支持将技能从已知任务转移到未见任务。
实时优化与交互式行为创造
研究结合实时优化器MuJoCo MPC，使用户能够交互地创造行为并快速获得反馈。在模拟四足机器人和机械手的17个任务中，该方法成功解决了90%的任务，并在真实机器人手臂上验证了有效性，包括非握持推动等复杂操作。
语言潜变量在动作表达中的有效性
基于76,000个自然语言指令和操作的数据集，在实时策略游戏环境中训练模型，结果表明使用自然语言作为潜变量的模型在动作表达中的有效性显著优于直接模仿人类动作的模型，且语言的组合结构对其有效性具有关键作用。
潜在动作提升远程操纵效率
针对辅助机器人的远程操纵，研究设计了基于任务示范的算法，通过控制性、一致性和可伸缩性原则评估低维度嵌入。两个用户研究验证表明，利用潜在动作的辅助机器人远程操纵效率更高，也更易于使用。
Q&A
大型语言模型如何改善机器人动作规划的成功率？
大型语言模型通过自然语言推理获取任务和场景对象的文本描述，输出坐标级控制命令，从而提高了任务成功率。
如何利用自然语言描述实现机器人技能的转移？
研究表明，通过自然语言描述，可以将机器人技能从已知任务转移到未见任务，展示了其潜在的应用可能性。
MuJoCo MPC在机器人控制中的作用是什么？
MuJoCo MPC作为实时优化器，使用户能够交互地创造行为并快速获得结果反馈，成功解决了90%的任务。
使用自然语言作为潜变量的模型有什么优势？
这种模型在动作表达中的有效性显著优于直接模仿人类动作的模型，且语言的组合结构对其有效性具有关键作用。
研究中提到的机器人任务成功率是多少？
研究表明，该方法成功解决了90%的机器人任务。
潜在动作如何提高远程操控的效率？
利用潜在动作的辅助机器人在远程操纵中表现出更高的效率和易用性。
