YAY Robot——斯坦福和UC伯克利开源的：人类直接口头喊话从而实时纠正机器人行为(含FiLM详解)
💡
原文中文，约5600字，阅读约需14分钟。
📝
内容提要
YAY-robot系统通过自然语言反馈提升机器人训练，结合低级行为与高级策略，适应人类的纠正，增强机器人在复杂任务中的自主性，并通过实时语言指令进行动态调整，持续优化性能。
🎯
关键要点
- YAY-robot系统通过自然语言反馈提升机器人训练，结合低级行为与高级策略。
- 复杂的机器人任务需要多个基础动作的序列，分层抽象框架用于解决多阶段任务。
- 稳健的高级策略可以弥补低级故障，适应动态变化。
- 大型语言模型提供了一种替代方案，但缺乏与机器人行为的结合。
- 自然语言反馈可以用于训练高级策略，减少对广泛监督演示的需求。
- YAY-robot结合了自然语言的紧凑表示和人类的自然交互界面。
- YAY-robot通过口头纠正微调高级策略，持续提高性能。
- YAY-robot的低级策略通过深度神经网络实现，动态适应人类纠正。
- 高级策略生成语言指令，指导低级策略执行相应技能。
- YAY-robot通过实时适应能力不断学习，减少对持续修正的需求。
- 数据收集采用实时解说，简化语言标注过程。
- 通过区分指令和更正，快速过滤掉导致更正的片段。
- 低级策略使用动作分块transformer，结合视觉和语言输入。
- 高级策略基于视觉骨干网络，自主生成语言命令。
- 后训练阶段记录用户口头纠正，用于微调高级策略。
➡️
