GTA：通用工具代理的基准测试
内容提要
本文介绍了提升大型语言模型（LLMs）能力的工具和方法，如MetaTool、GitAgent、ToolTalk和ToolLLM。研究显示，LLMs在工具选择和执行复杂指令方面仍面临挑战。通过引入API-Bank和GEAR等新工具，评估了LLMs在实际应用中的表现，发现GPT-4在特定任务中的性能显著提升。这些研究为未来语言模型的发展提供了重要方向。
延伸解读
工具选择仍是LLM的薄弱环节
MetaTool基准测试表明，大多数LLM在工具选择方面存在困难，即它们难以准确判断何时以及使用哪个工具。这提示我们，尽管LLM在语言理解上表现优异，但在实际工具调用场景中，选择正确的工具仍是一个关键瓶颈。开发者和研究者需关注提升模型的工具选择意识，而非仅仅扩大模型规模。
自主工具扩展的可行性与局限
GitAgent能够从GitHub自主扩展工具集，平均成功率为69.4%。这一结果说明，让LLM代理自动发现并集成新工具是可行的，但仍有约三成的失败率。在实际部署中，这意味着完全依赖自主扩展可能不够可靠，需要结合人工监督或回退机制，以确保工具集的稳定性和正确性。
工具增强带来的性能提升与挑战
在知识库和数据库任务中，配备工具的GPT-4性能分别提升了2.2倍和2.8倍，显示出工具增强的巨大潜力。然而，API-Bank的评估指出，GPT-4在规划API调用方面仍有改进空间。这表明，工具增强虽能显著提升特定任务表现，但模型在复杂多步规划上仍需优化，未来研究应聚焦于缩小这一差距。
开源模型缩小代理能力差距
AgentTuning方法通过混合指令调整，使AgentLM-70B在未知代理任务上达到与GPT-3.5-turbo相当的水平，同时保持通用能力。这为开源社区提供了强大的替代方案，降低了依赖商业模型的门槛。但需注意，评估仅针对特定任务，实际应用中可能面临更多变数，开源模型在泛化性和鲁棒性上仍需进一步验证。
Q&A
MetaTool 是什么，它的主要功能是什么？
MetaTool 是一个用于评估大型语言模型（LLMs）工具使用意识和选择能力的基准测试，旨在识别 LLMs 在工具选择方面的困难。
GitAgent 的成功率是多少，它是如何工作的？
GitAgent 的平均成功率为 69.4%，它通过四阶段的过程从 GitHub 实现自主工具扩展，并学习人类经验。
ToolTalk 是什么，它如何评估大型语言模型？
ToolTalk 是一个量化评估工具，提供对私人或最新信息的访问，应用于 GPT-3.5 和 GPT-4 的评估中，帮助识别错误类别并提出改进方向。
ToolLLM 如何增强自然语言模型的能力？
ToolLLM 是一个通用工具使用框架，通过数据构建、模型训练和评估，显著增强了自然语言模型的规划和推理能力。
AgentTuning 是什么，它的效果如何？
AgentTuning 是一种提高大型语言模型代理任务能力的方法，评估显示 AgentLM-70B 在未知代理任务上与 GPT-3.5-turbo 相媲美。
API-Bank 的目的是什么，它如何评估 LLMs？
API-Bank 是为工具增强的 LLMs 定制的基准测试，旨在评估 LLMs 在 API 调用方面的能力，实验结果显示 GPT-4 仍有改进空间。
