VLMs在《星际争霸II》中的应用：基准和多模态决策方法

本研究解决了传统《星际争霸II》框架与人类游戏体验之间的感知差异问题。通过引入VLM-Attention环境，结合RGB视觉输入和自然语言观察，使人工智能代理的决策更加符合人类的认知过程。实验表明，基于VLM的代理能够在没有明确训练的情况下执行复杂战术，表现与传统的多智能体强化学习方法相当，从而推动了多模态游戏AI的研究进展。