![Voyager：结合大语言模型的创新虚拟智能体 [译]](https://baoyu.io/images/translations/voyager-an-open-ended-embodied-agent-with-large-language-models/x5.png)
Voyager：结合大语言模型的创新虚拟智能体 [译]
内容提要
该文是Voyager的技术附录，介绍其代码生成提示、自我验证机制与实验。提示要求GPT-4编写Mineflayer代码，复用技能库并遵循规范；自我验证以JSON判断任务成败并给出批评。实验基于MineDojo，与ReAct、Reflexion、AutoGPT对比，Voyager收集物品更多、探索更远、零样本泛化更强；消融实验表明自动课程、技能库、反馈与自我验证均关键。
延伸解读
技能库：可复用代码如何缓解灾难性遗忘
Voyager将成功任务的代码存入技能库，并通过描述嵌入检索复用。这不同于微调模型参数，而是以外部程序库积累能力。消融实验显示，去掉技能库后智能体在任务后期遇到瓶颈，说明可复用技能对持续学习至关重要。这种设计也避免了连续学习中的灾难性遗忘，因为旧技能以代码形式保留，不会被新任务覆盖。
自我验证：比自我反思更进一步的反馈机制
Voyager的自我验证模块让GPT-4充当评判者，根据智能体状态和任务目标输出JSON格式的成功判断与批评。与Reflexion仅依赖自我反思不同，它同时检查任务是否完成并给出改进建议。消融实验表明，取消自我验证会导致发现物品数量下降73%，是各类反馈中最关键的环节。不过文章也指出，自我验证偶尔会出错，例如未能识别蜘蛛丝作为击败蜘蛛的标志。
自动课程：顺序比任务本身更影响学习效率
自动课程根据智能体当前状态和探索进度生成下一个任务，确保难度适中且具有新意。实验发现，若随机安排课程，发现物品数量会骤降93%，因为某些任务不按正确顺序进行会变得异常困难。手动设计课程虽需深厚游戏知识，但无法根据智能体即时状态调整，表现不如自动课程。这说明在开放世界中，任务排序对学习效果有决定性影响。
局限与风险：成本、误差与幻觉
Voyager依赖GPT-4进行代码生成，其API成本比GPT-3.5高15倍，这是实际部署时需考虑的因素。即使有迭代提示，智能体仍可能无法生成正确技能，自我验证也可能误判。自动课程有时会提出游戏中不存在的任务，如制作“铜剑”，代码生成中也会出现错误使用鹅卵石作为燃料等幻觉。这些局限表明，当前系统仍需要外部监督或更可靠的验证机制。
Q&A
Voyager 是什么？它和普通的大语言模型智能体有什么不同？
Voyager 是首个以 GPT-4 为核心的 Minecraft 虚拟终身学习智能体，无需人类干预即可自主探索、掌握技能并持续发现新事物。与 ReAct、Reflexion、AutoGPT 等基线不同，Voyager 具备自动课程、可扩展技能库和迭代提示机制，能积累并复用可执行代码形式的技能，从而避免灾难性遗忘，并在新世界中零样本解决新任务。
Voyager 由哪几个关键模块组成？各自起什么作用？
Voyager 由三部分组成：1) 自动课程：根据智能体状态和探索进度，由 GPT-4 自下而上生成难度递增的任务，驱动开放探索；2) 技能库：用可执行代码存储技能，并通过描述嵌入检索复用，支持组合复杂行为；3) 迭代提示机制：结合环境反馈、执行错误和自我验证，循环优化生成的代码，直到任务成功。
Voyager 如何保证生成的代码能正确完成任务？
Voyager 采用迭代式提示机制：每轮执行生成的代码后，收集环境反馈（如背包物品、聊天日志）和执行错误，连同自我验证模块的批评一起反馈给 GPT-4 进行下一轮代码改进。自我验证由另一个 GPT-4 智能体充当评判者，以 JSON 格式输出任务是否成功及失败建议。该过程最多重复 4 轮，若仍失败则转向新任务。
Voyager 在 Minecraft 中的实验表现如何？比基线强多少？
在 MineDojo 环境中，Voyager 比此前最佳技术多获得 3.3 倍独特物品，旅行距离增加 2.3 倍，解锁科技树关键里程碑的速度快达 15.3 倍。它是唯一能解锁钻石级工具的模型，并且能在全新世界中利用技能库零样本解决新任务，而 ReAct、Reflexion、AutoGPT 等基线均无法完成。
Voyager 的消融实验揭示了哪些关键设计的重要性？
消融实验表明：自动课程对持续进步至关重要，随机课程会导致发现物品数骤降 93%；缺少技能库会使后期发展遇到瓶颈；自我验证是最关键的反馈形式，取消后物品发现数下降 73%；此外，用 GPT-3.5 替代 GPT-4 生成代码，发现物品数会减少 5.7 倍，凸显 GPT-4 编程能力的重要性。
Voyager 有哪些局限性或潜在问题？
Voyager 的局限性包括：使用 GPT-4 API 成本高昂（比 GPT-3.5 贵 15 倍）；迭代提示后仍可能生成错误技能；自我验证模块可能误判（如未识别蜘蛛丝为击败蜘蛛的标志）；自动课程可能提出游戏中不存在的任务（如“铜剑”），代码生成也可能出现幻觉（如用鹅卵石作燃料）或调用不存在的 API 函数。
