量子位
·
GPT-4o能玩《黑神话》！精英怪胜率超人类，无强化学习纯大模型方案
💡
原文中文，约1600字，阅读约需4分钟。
📝
内容提要
阿里巴巴研究人员提出了一个新型VARP智能体框架，可用于玩《黑神话·悟空》游戏，但在幽魂问题上存在挑战。推理速度受限，无法实时输入每一帧画面，且无法自行找到正确路线。
🎯
关键要点
- 阿里巴巴研究人员提出了VARP智能体框架，用于玩《黑神话·悟空》。
- AI在游戏中表现出色，胜率超过人类，但在幽魂问题上存在挑战。
- VARP框架直接将游戏截图作为输入，通过视觉语言模型推理生成动作。
- 研究定义了12个任务，其中75%与战斗有关，构建了包含1000条有效数据的人类操作数据集。
- VARP框架包含动作规划系统和人类引导轨迹系统，利用VLMs进行动作推理和生成。
- 动作库中存储了自我学习和人类指导的内容，支持检索和更新。
- AI在小怪战斗中表现达到人类水平，但在面对幽魂时表现不佳。
- VLMs推理速度受限，无法实时输入每一帧画面，导致错过关键信息。
- 游戏中缺乏明确道路引导，AI无法自行找到正确路线。
- 后续将发布相关代码和数据集，供感兴趣者使用。
➡️
