智能体AI Agent的极速入门：从ReAct、AutoGPT到AutoGen、QwenAgent、XAgent、MetaGPT
内容提要
本文介绍了ReAct（Reasoning and Acting in Language Models）的概念和应用，它是一种将推理和行动能力集成到大型语言模型中的方法。通过生成思考和行动序列，ReAct在知识密集型推理任务中表现出色。研究人员测试了ReAct在多个任务上的性能，包括多跳问答、事实验证和基于语言的交互式决策任务，结果显示ReAct优于其他基线方法。此外，研究人员还介绍了如何在复杂环境中使用ReAct解决任务。总体而言，ReAct展示了将推理和行动能力集成到大型语言模型中的潜力和优势。
延伸解读
ReAct 的适用边界：知识密集型推理与交互式决策
文章指出 ReAct 在 HotpotQA、FEVER 等知识密集型推理任务中表现优异，并在 ALFWorld、WebShop 等交互式决策任务中超越仅行动基线。但作者也强调，现有方法仍远未达到专家人类水平，产品探索和查询重构对基于提示的方法仍是挑战。因此，ReAct 更适合需要外部知识检索与多步推理的场景，而非所有任务都能直接套用。
ReAct 与 CoT 的互补关系及切换策略
文章对比了 ReAct 与 CoT：ReAct 的问题解决过程更事实、更基于外部观察，而 CoT 在推理结构上更准确但容易虚构事实。作者建议将两者结合，并给出启发式切换规则：当 ReAct 在给定步数内无法返回答案时回退到 CoT-SC；当 CoT-SC 多数答案不自信时回退到 ReAct。这种组合在 HotpotQA 和 FEVER 上效果最佳。
微调对 ReAct 性能的关键影响
文章显示，在 PaLM-8/62B 上，提示式 ReAct 表现最差，但使用 3,000 条 ReAct 轨迹微调后，ReAct 成为四种方法中最佳。微调标准或 CoT 本质是教模型记忆可能幻觉的知识，而微调 ReAct 或 Act 是教模型如何推理和行动以获取信息，后者更具泛化性。这表明对于较小模型，微调是释放 ReAct 潜力的重要手段。
ReAct 在 ALFWorld 与 WebShop 中的表现差异
在 ALFWorld 中，最佳 ReAct 试验平均成功率达 71%，显著优于 Act 的 45% 和 BUTLER 的 37%。在 WebShop 中，ReAct 相比先前最佳成功率绝对提升 10%，能通过推理填补嘈杂观察与行动之间的差距。但文章也指出，WebShop 上现有方法仍远未达到专家人类水平，说明在真实噪声环境中，ReAct 虽有优势但仍有明显局限。
Q&A
ReAct是什么？它和Auto-GPT有什么关系？
ReAct是一种将推理（Reasoning）和行动（Acting）能力集成到大型语言模型中的方法，由Google Research于2022年10月提出。Auto-GPT的基础组件之一便是ReAct，Auto-GPT参考了ReAct框架，从而表现出色。
ReAct的核心设计包含哪些元素？
ReAct的设计包含三个核心元素：思考（Thought）、行动（Act）和观察（Obs）。思考是推理过程的文字展示；行动是生成与外部交互的指令；观察是从外部获取执行指令得到的结果。这三个元素形成循环，类似于强化学习的基础。
ReAct适合处理什么类型的任务？
ReAct适合知识密集型推理任务，能够有效处理复杂的推理和决策问题。它在多跳问答、事实验证和基于语言的交互式决策任务中表现优异，例如HotpotQA、FEVER、ALFWorld和WebShop等。
ReAct与思维链（CoT）相比有什么优势和不足？
ReAct的问题解决过程更加事实和基础，而CoT在制定推理结构方面更加准确，但容易受到虚构事实或思想的影响。ReAct在推理任务中展现出更强的泛化能力，但CoT-SC在某些情况下可能更准确。建议将两者结合，根据启发式规则切换。
ReAct在ALFWorld和WebShop任务中的表现如何？
在ALFWorld上，ReAct的最佳成功率达到了71%，显著优于Act（45%）和BUTLER（37%）。在WebShop上，ReAct相比之前最佳成功率绝对提高了10%，并且更擅长通过推理填补嘈杂观察和行动之间的差距。
如何微调ReAct模型？微调效果如何？
可以使用ReAct生成的3,000个具有正确答案的轨迹来微调较小的语言模型（如PaLM-8/62B）。微调后，ReAct在四种方法中表现最佳，甚至PaLM-8B微调ReAct在所有PaLM-62B提示方法中表现最佳，PaLM-62B微调ReAct在所有540B提示方法中表现最佳。
