SwarmBrain: 基于大型语言模型的即时战略游戏《星际争霸 II》的具身智能体
内容提要
该文汇总多篇《星际争霸II》AI研究，采用大语言模型代理、深度强化学习、分层架构、课程迁移学习和离线数据集等方法训练智能体，在宏观决策、模块化控制与自我对战中表现优异，可击败内置高级AI，部分接近人类高手水平。
延伸解读
从回放到决策：数据驱动方法的演进
文章汇总的多项研究显示，早期工作如2017年的宏观管理决策学习，利用游戏回放数据训练模型，并集成到开源机器人UAlbertaBot中，表现优于内置bot。这体现了从依赖硬编码策略向数据驱动方法的转变，为后续深度强化学习应用奠定了基础。
分层与模块化：复杂任务的控制策略
针对《星际争霸II》的复杂决策，研究采用了分层强化学习和模块化架构。例如，2018年的模块化架构将游戏不同方面（如选址和策略）分配给独立模块，通过自我对战训练，在特定对战中击败高级内置AI。这种设计提高了训练效率和策略灵活性。
大语言模型与离线学习的新方向
近期研究探索了大语言模型在游戏中的潜力。2023年的工作开发了文本化环境，使LLM代理能进行复杂规划，性能接近普通玩家。同时，离线强化学习基准AlphaStar Unplugged利用大量离线数据，取得90%胜率，展示了数据驱动方法在缺乏在线交互时的有效性。
Q&A
SwarmBrain 是什么？它主要应用在哪个游戏上？
SwarmBrain 是一个基于大型语言模型的具身智能体，主要应用于即时战略游戏《星际争霸 II》中，用于实现游戏性能评估和复杂规划。
SwarmBrain 在《星际争霸 II》中的表现如何？能击败什么级别的 AI？
SwarmBrain 在《星际争霸 II》中的性能接近于玩了八年游戏的普通玩家，并能够击败 Harder (Lv5) 的内置 AI。
SwarmBrain 使用了哪些主要技术或方法？
SwarmBrain 采用了大型语言模型代理、深度强化学习、分层架构、课程迁移学习和离线数据集等方法。
SwarmBrain 与 AlphaStar 有什么关系或区别？
SwarmBrain 汇总了多篇《星际争霸 II》AI 研究，其中包括 AlphaStar Unplugged 等，但 SwarmBrain 本身是基于大型语言模型的具身智能体，而 AlphaStar 是深度强化学习的代表，两者在方法上有所不同。
SwarmBrain 在《星际争霸 II》中的宏观决策能力如何？
SwarmBrain 利用大型语言模型代理，在宏观决策方面表现出色，具备相关知识和复杂规划能力。
SwarmBrain 能否通过自我对战进行训练？效果如何？
是的，SwarmBrain 采用深度强化学习技术，通过自我对战进行训练，在 Zerg vs. Zerg 比赛中以 94% 或 87% 的胜率击败了 Harder (Lv5) 的 Blizzard bot。
