量子位
·
GPT-4o能玩《黑神话》！精英怪胜率超人类，无强化学习纯大模型方案
原文中文，约1600字，阅读约需4分钟。
📝
内容提要
阿里巴巴研究人员提出了一个新型VARP智能体框架，可用于玩《黑神话·悟空》游戏，但在幽魂问题上存在挑战。推理速度受限，无法实时输入每一帧画面，且无法自行找到正确路线。
🎯
关键要点
-
阿里巴巴研究人员提出了VARP智能体框架，用于玩《黑神话·悟空》。
-
AI在游戏中表现出色，胜率超过人类，但在幽魂问题上存在挑战。
-
VARP框架直接将游戏截图作为输入，通过视觉语言模型推理生成动作。
-
研究定义了12个任务，其中75%与战斗有关，构建了包含1000条有效数据的人类操作数据集。
-
VARP框架包含动作规划系统和人类引导轨迹系统，利用VLMs进行动作推理和生成。
-
动作库中存储了自我学习和人类指导的内容，支持检索和更新。
-
AI在小怪战斗中表现达到人类水平，但在面对幽魂时表现不佳。
-
VLMs推理速度受限，无法实时输入每一帧画面，导致错过关键信息。
-
游戏中缺乏明确道路引导，AI无法自行找到正确路线。
-
后续将发布相关代码和数据集，供感兴趣者使用。
❓
延伸问答
VARP智能体框架的主要功能是什么？
VARP智能体框架能直接将游戏截图作为输入，通过视觉语言模型推理生成动作，以操作游戏。
AI在《黑神话·悟空》中的表现如何？
AI在90%的简单和中等战斗场景中取胜，胜率超过人类，但在面对幽魂时表现不佳。
VARP框架是如何处理人类操作数据的？
VARP框架构建了一个包含1000条有效数据的人类操作数据集，并利用人类引导轨迹系统改进智能体性能。
AI在游戏中遇到的主要挑战是什么？
AI在幽魂问题上存在挑战，推理速度受限，无法实时输入每一帧画面，且缺乏明确的道路引导。
VARP框架的动作库包含哪些内容？
动作库中存储了自我学习和人类指导的内容，支持检索和更新，包含预定义动作和新生成动作。
后续将发布哪些与VARP框架相关的内容？
后续将发布相关代码和数据集，供感兴趣者使用。
🏷️
