从总结到行动：利用开放式接口增强大规模语言模型对复杂任务的应用
内容提要
本文综述了提升大语言模型工具使用能力的研究，包括ToolLLM框架（构建ToolBench数据集、采用DFSDT搜索、微调LLaMA得到ToolLLaMA，性能媲美ChatGPT），以及LATM闭环框架、模块化多语言框架、API-Bank基准等，验证了工具增强LLM在复杂任务中的有效性，并指出未来挑战。
延伸解读
工具增强如何提升LLM复杂任务表现
文章指出，通过为LLM配备外部工具，其在复杂任务中的表现显著提升。例如，在需要访问数据库内容的任务中，GPT-4性能提高了2.8倍；在知识库任务中提高了2.2倍。这表明工具增强能有效扩展LLM的能力边界，使其在真实场景中更具实用性。
开源模型与闭源模型的工具使用差距缩小
ToolLLaMA通过微调LLaMA并在ToolBench上训练，在复杂指令执行和未见API泛化上表现卓越，性能与ChatGPT相当。另一项研究通过人工监督和数据调整，使开源LLM在工具操作上达到与闭源LLM竞争的水平，成功率提升至90%。这显示开源模型在工具使用方面正快速追赶。
降低推理成本：LATM框架的实践意义
LATM框架让LLM自己创建可重用工具，使用GPT-4作为工具制造者、GPT-3.5作为工具用户，在Big-Bench等复杂推理任务中，性能与完全使用GPT-4相当，但推理成本显著降低。这为实际部署中平衡性能与成本提供了可行方案。
当前局限与未来挑战
API-Bank基准测试显示，GPT-4在规划API调用上更强，但仍有改进空间；错误分析指出工具增强LLM的可行性及主要挑战。此外，服务机器人研究发现，单独使用LLM在选择性提取情境行动知识方面效果有限，需结合形式化知识表示。这些表明工具增强LLM仍需在规划、知识整合等方面继续突破。
Q&A
ToolLLM框架具体包含哪些组成部分？
ToolLLM是一个通用工具使用框架，包括数据构建、模型训练和评估。它通过ChatGPT创建工具使用指导数据集ToolBench，使用深度优先搜索决策树（DFSDT）扩展搜索空间，微调LLaMA得到ToolLLaMA，并采用评估器ToolEval。此外，还设计了神经API检索器为指令推荐合适的API。
ToolLLaMA的性能表现如何？
ToolLLaMA在执行复杂指令和推广到未见过的API方面表现出卓越能力，其性能与ChatGPT相当。
LATM框架是如何工作的？
LATM（LLMs As Tool Makers）是一个闭环框架，让LLMs自己创建可重用的工具来解决问题。使用GPT-4作为工具制造者，GPT-3.5作为工具用户，在复杂推理任务（包括Big-Bench任务）中有效，性能与使用GPT-4制造和使用工具相当，但推理成本显著降低。
API-Bank基准测试的目的是什么？
API-Bank是第一个为工具增强的LLMs定制的基准测试，旨在全面评估LLMs规划逐步API调用、检索相关API和正确执行API调用以满足人类需求的能力。实验表明GPT-3.5在使用工具方面优于GPT-3，GPT-4在规划性能上更强但仍有改进空间。
工具增强的大语言模型在复杂环境中的效果如何？
在知识库和数据库等复杂环境中，配备工具的GPT-4在需要访问数据库内容的任务中性能提高了2.8倍，在知识库任务中提高了2.2倍。
模块化多语言框架是如何提升工具使用能力的？
该框架将大型语言模型能力分解为规划器、调用器和摘要生成器，并通过两阶段训练范式有效训练。它在各种工具使用基准测试中表现出超越传统单语言模型方法的效果，凸显了在工具学习中的功效和优势。
