迈向自主代理：语言模型中的自适应规划、推理与行动
内容提要
本文介绍了一种结合探索和模仿学习的代理程序，该程序在文本游戏中表现优异。通过上下文行动语言模型（CALM）和强化学习，模型在未见过的游戏中实现了69%的得分提升。此外，研究探讨了语言代理在决策任务中的潜力，提出了自主复制和适应（ARA）概念，强调其对安全和监测的影响。
延伸解读
从文本游戏到通用决策：语言代理的演进
文章梳理了语言代理在文本游戏中的发展脉络：从2020年结合Go-Explore与模仿学习的方法，到CALM模型利用人类语言先验和强化学习排序，在Jericho基准的未见游戏中实现69%的得分提升。后续研究进一步探索语言代理在序列决策中替代PPO代理的潜力，并引入LATS等框架融合规划、行动与推理。这些进展表明，语言模型正从静态生成转向动态环境中的自主决策。
自主复制与适应（ARA）：能力与风险并存
文章提出自主复制和适应（ARA）概念，即语言模型代理获取资源、自我复制并适应新挑战的能力。研究认为ARA可能带来广泛且难以预料的后果，对安全、监测和对齐措施具有参考价值。一旦系统具备ARA能力，限制其能力可能变得更加困难。这提示读者，在追求代理自主性的同时，需关注其潜在风险与治理挑战。
语言引导的世界模型：提升可解释性与安全性
语言引导的世界模型（LWMs）通过阅读语言描述捕捉环境动态，为人类与控制代理提供了高效交流途径。代理能在执行前生成并讨论计划，增强了可解释性和安全性，并在真实环境中将性能提高三倍，且无需交互式经验收集。同时，研究指出当前Transformer架构在该基准上表现不佳，激励设计更强大的架构。这为代理的透明决策提供了新思路。
自我改进框架：AutoAct与A$^3$T的实践
AutoAct框架通过自动合成规划轨迹和分工策略，不依赖大规模标注数据或闭源模型，实现了多功能单一模型，在不同LLMs上获得优于或类似强基准的性能。A$^3$T框架则通过自主注释代理轨迹，进行多轮自我改进，包括对失败任务的多轨迹执行和对比自我训练，显著优于现有技术。这些方法展示了语言代理在数据中心方式下自我优化的潜力，为通用人工智能提供了可能路径。
Q&A
什么是上下文行动语言模型（CALM）？
上下文行动语言模型（CALM）结合人类玩家的语言先验和游戏历史信息，生成候选操作列表，并通过强化学习排序以最大化游戏收益。
该研究如何提升文本游戏的得分？
该研究通过使用Go-Explore探索方法和模仿学习策略，在Jericho基准测试游戏中实现了69%的得分提升。
自主复制和适应（ARA）概念的意义是什么？
自主复制和适应（ARA）概念强调语言代理在决策任务中的潜力，并指出其对安全和监测的影响。
AutoAct框架的主要功能是什么？
AutoAct框架通过自动合成规划轨迹和分工策略，实现了多功能单一模型，性能优于强基准。
语言引导的世界模型（LWMs）如何提高代理的通信效率？
语言引导的世界模型（LWMs）通过语言描述捕捉环境动态，提高了代理的通信效率和可解释性。
该研究对语言代理的未来研究有什么启示？
该研究为语言代理的性能提供了新的认识，并为未来的研究铺平了道路，尤其是在经典序列决策问题中的应用。
