ArCHer: 通过分层多轮强化学习训练语言模型代理
内容提要
本文综述大语言模型与强化学习的协作研究，主要贡献包括：提出LMRL-Gym多轮强化学习基准及开源框架，涵盖8项语言任务；构建层次化代理，结合LLM规划与环境学习解决长期任务；提出LARL-RM算法，利用LLM获取高层知识编码自动机，加速收敛30%；从博弈论视角重构LLM训练；用LLM教师指导小学生代理提升样本效率；以LLM多专家代理解决ARC挑战，解出45%；并开发LLaRP方法及新基准。
延伸解读
LMRL-Gym：多轮强化学习评估基准
文章介绍了LMRL-Gym，这是一个用于评估大语言模型多轮强化学习的基准，包含8个需要多轮语言交互的任务，涵盖开放对话和文本游戏。同时提供了一个开源研究框架，支持离线值基和策略基的强化学习方法。该基准旨在推动语言模型与强化学习结合的研究，为开发目标导向代理提供稳定可靠的算法评估环境。
层次化代理：结合LLM规划与环境学习
针对长期和拓展性任务中强化学习样本效率低的问题，文章提出了一种层次化代理框架。该框架利用大语言模型的规划能力，结合强化学习的环境学习，在MiniGrid、SkillHack、Crafter等仿真环境以及实际机械臂块操作任务中验证了优越性能。值得注意的是，训练完成后代理不再依赖LLM进行部署，这降低了实际应用中的计算成本。
LARL-RM算法：自动机编码高层知识加速收敛
文章提出了LARL-RM算法，利用自动机将高层知识编码到强化学习中，以加速学习过程。该算法通过提示工程从大语言模型中获取领域特定知识，避免了专家手动编码自动机的需求，实现了无需专家指导的全闭环强化学习。文章展示了算法收敛到最优策略的理论保证，并在两个案例研究中实现了30%的收敛加速。
LLM在ARC挑战与具体任务中的应用
文章探索了LLM作为多专家代理系统解决抽象推理语料库（ARC）挑战的潜力。通过将输入图像转换为网格、对象和像素三种文本抽象空间，利用LLM的联想能力推导输入输出关系，并在111个训练集问题上解决了50个（45%）。此外，LLaRP方法使LLM作为可推广策略应用于视觉任务，在未见任务中达到基线1.7倍的成功率，并发布了“Language Rearrangement”新基准。
Q&A
LMRL-Gym 是什么？它包含哪些内容？
LMRL-Gym 是一个用于评估大语言模型多轮强化学习的基准，同时提供了一个开源研究框架，包含基本工具包，支持离线值基和策略基强化学习方法。该基准由 8 个不同的语言任务组成，需要多轮语言交互，涵盖开放对话和文本游戏等多种任务。
如何利用大语言模型提升强化学习在长期任务中的样本效率？
通过利用大语言模型的规划能力结合强化学习的环境学习，构建一个层次化代理来解决长期任务。该方法在 MiniGrid、SkillHack 和 Crafter 等仿真环境以及实际机械臂的块操作任务中验证了优越性能，且训练完成后不需要依赖大语言模型进行部署。
LARL-RM 算法是如何工作的？它有什么优势？
LARL-RM 算法利用自动机将高层知识编码到强化学习中，以加速强化学习过程。它使用大语言模型通过提示工程获取高层领域特定知识，避免了需要专家编码自动机的问题，且能够在无需专家指导和监督下进行全闭环强化学习。该算法具有收敛到最优策略的理论保证，并在两个案例研究中实现了 30% 的加速收敛。
如何从博弈论角度理解大语言模型的训练过程？
通过在单一统一的机器学习范式中正式定义大语言模型的训练过程（包括预训练、监督微调和强化学习与人类反馈），可以勾勒出大语言模型训练方法与两人博弈中代理人发展策略之间的相似之处。从博弈论、强化学习和多智能体系统的角度研究，提出了一种用基于语言游戏中代理人学习的方式重新构思大语言模型学习过程的框架，为对齐问题等战略考虑提供了新理解，并为训练提供了新颖的数据准备和机器学习技术。
如何利用大语言模型作为教师代理来训练小规模学生代理？
通过使用大规模语言模型作为教师代理，向小规模专用学生代理提供指导行为。将语言模型的先验知识融入到本地学生模型中，学生代理可以用较少的数据进行训练，并通过环境反馈进一步提升能力。实验结果表明，该方法提高了样本效率，并实现了比基准方法更卓越的性能。
在抽象和推理语料库（ARC）挑战中，大语言模型多专家代理系统取得了什么成果？
通过将输入图像转换为多个适合的基于文本的抽象空间（仅使用网格、对象和像素三个抽象空间），利用大语言模型的联想能力推导输入输出关系，并将其映射到工作程序形式的行动，同时使用迭代环境反馈来指导大语言模型解决任务。该方法在训练集问题的 111 个问题中实现了 50 个解决方案（45%）。
LLaRP 方法是什么？它在视觉任务中有什么表现？
LLaRP 是一种利用大语言模型和强化学习技术开发的方法，使得大语言模型可以作为具有推广性的策略应用于具体视觉任务中，能够忽略任务指令的复杂改写并生成新的最佳行为。在未见过的任务中，它达到了其他常见学习基线或零样本大语言模型应用的 1.7 倍成功率。同时发布了一个名为“Language Rearrangement”的新基准测试数据集，用于研究基于语言、多任务和具体化 AI 问题。
