以基于语言模型的代码生成和行为分支为驱动的自由形式文本指令游戏智能体
内容提要
该文综述了文本游戏中语言与智能代理的研究进展，涵盖领域知识注入、Formal-LLM规划框架、多模态交互、时序逻辑指令、探索模仿学习、大语言模型智能决策、自然语言隐式指令、语言知识指导控制及多智能体语言学习等。实验表明，这些方法能提升代理性能、泛化性与人机沟通能力。
延伸解读
领域知识与规划框架的进展
文章介绍了通过注入领域知识改善文本游戏智能代理的方法，包括知识图谱和输入编码策略的增强，并在ScienceWorld环境中验证。此外，Formal-LLM框架结合自然语言与形式语言，使规划可控，实验显示任务性能提升超过50%。这些工作表明，结合领域知识和形式化规划能有效提升代理的规划有效性。
多模态交互与结构化指令
文章提到一个支持扩展多模态交互的系统，利用大语言模型将用户英语语句映射到领域特定代码，探索了LLM在上下文敏感性方面捕捉意图的程度。同时，研究使用线性时序逻辑（LTL）结构化语言支持时间上下文语义的指令，通过文本游戏实验验证了其有效性和优越性。这些方法增强了代理对复杂指令的理解和执行能力。
学习策略与语言指导
文章综述了多种学习策略：采用探索和模仿学习的代理在文本游戏中表现先进；使用自然语言隐式指令作为复杂动作表达，在实时策略游戏中训练模型，结果表明语言组合结构对有效性关键；通过语言基础知识自动指导控制算法，使用多层神经网络，实验证明能提高控制性能和获胜概率。这些方法展示了语言在指导代理学习中的重要作用。
大语言模型决策与多智能体沟通
文章指出，将大语言模型应用于智能决策领域，构建以LLM为核心的代理体系，通过自然语言交互发布和执行决策命令。游戏对抗实验发现，LLM的智能决策能力优于常用强化学习和规则AI，且智能性、可理解性和泛化性更好，但智能与提示密切相关。此外，多智能体交互通信的语言学习框架在指代游戏中研究，通过调整游戏环境提高代理人交流的自适应语言结构，使其更有效地与人类沟通。
Q&A
如何通过注入领域知识来提升文本游戏智能体的性能？
该文提出通过注入领域知识来改善文本游戏智能体，具体策略包括知识图谱和输入编码策略的增强，并在ScienceWorld环境中验证了有效性。
Formal-LLM框架是什么？它如何提升LLM代理的规划能力？
Formal-LLM是一种结合自然语言表现力和形式语言准确性的新型框架，用于基于LLM的代理，使规划过程具有控制性，防止生成无效计划，实验显示任务性能整体提升超过50%。
在文本游戏中，如何利用线性时序逻辑（LTL）处理时间上下文指令？
研究使用线性时序逻辑（LTL）结构化语言来支持时间上下文语义的指令，并通过文本游戏实验验证了其有效性和优越性。
探索和模仿学习如何提升文本游戏智能体的性能？
采用Go-Explore探索方法和模仿学习策略训练模型，实现了更高效的文本游戏解决能力和更强的泛化能力，达到最先进性能。
大语言模型在智能决策中相比强化学习和规则AI有哪些优势？
大语言模型在智能决策中明显优于常用的强化学习和规则AI，具有更好的智能性、可理解性和泛化性，且其智能与提示密切相关。
自然语言隐式指令在实时策略游戏中如何提升动作表达效果？
使用自然语言隐式指令作为复杂动作的表达和组合，基于76,000个自然语言指令和操作的数据集训练模型，结果表明其动作表达有效性显著优于直接模仿人类动作的模型，且语言的组合结构起关键作用。
