基于探索的错误纠正学习框架E2CL用于具身智能体
内容提要
本研究探讨了利用增强学习和大型语言模型（LLMs）在复杂三维环境中实现机器人智能互动的方法。通过自主探索，机器人能够发现可用对象并高效行动，实验表明其在家居环境中的表现优越。此外，提出的“行动前询问”方法显著提高了机器人在未知环境中的决策能力和样本效率。
延伸解读
从探索到执行：E2CL框架的构成
文章提出的E2CL框架整合了自主探索、错误纠正和大型语言模型规划。智能体在未知三维环境中通过探索发现可用对象，并利用基于图像的分割模型识别可操作区域。当执行失败时，前置错误信息被用于提示LLM生成修正计划，形成“探索-错误-纠正”的闭环。这一设计旨在提升机器人在新家居环境中的适应性和任务准备度。
“行动前询问”如何提升决策效率
针对未知环境，文章介绍了“行动前询问”（ABA）方法。它利用自然语言引导LLM主动查询外部知识，而不是盲目试错。在ALFWorld等基准测试中，ABA表现出更好的性能和效率。这种方法将语言作为推理工具，帮助智能体在行动前获取必要信息，从而减少无效探索，提高样本效率。
LLM作为世界模型：样本效率的突破
文章提到利用LLM假设抽象世界模型，以提升强化学习代理的样本效率。在Minecraft物品制作任务中，DECKARD代理通过LLM引导的探索提出并验证抽象世界模型，实现了比现代方法一个数量级的提升。这表明LLM不仅能提供先验知识，还能动态构建环境模型，加速学习过程。
框架对比：TWOSOME、OPEx与EnvGen的定位
文章还列举了其他相关框架：TWOSOME将LLM作为在线决策代理，无需先验知识，在经典和家庭环境中提升样本效率；OPEx分析Observer、Planner和Executor组件对具身指令跟随任务的影响；EnvGen则利用LLM自适应生成训练环境，帮助小型RL代理学习薄弱技能，且LLM调用次数远少于纯LLM代理。这些工作从不同角度探索了LLM与RL的结合。
Q&A
E2CL框架的主要目标是什么？
E2CL框架旨在通过自主探索实现机器人在复杂三维环境中的智能互动。
如何提高机器人在未知环境中的决策能力？
通过提出“行动前询问”方法，利用自然语言引导大型语言模型主动查询外部知识，从而增强决策能力。
实验结果显示E2CL框架的机器人在家居环境中的表现如何？
实验表明，基于E2CL框架的机器人能够智能地操作新的家居环境，并为下游任务做好准备。
TWOSOME框架的创新之处是什么？
TWOSOME框架将大型语言模型作为决策制定代理，能够高效地与具体环境进行交互，无需准备数据集或环境先验知识。
EnvGen框架的作用是什么？
EnvGen框架利用大型语言模型自适应创建训练环境，帮助小型强化学习代理学习技能。
OPEx框架分析了哪些组件对任务性能的影响？
OPEx框架分析了Observer、Planner和Executor三个核心组件对任务性能的影响。
