RE-GAINS & EnCHANT: 智能工具操作系统以提升查询响应
内容提要
本文综述大语言模型工具使用研究，通过人工监督与数据调整提升开源LLM工具操作能力，设计基准实验，成功率可达90%。介绍GEAR、ToolLLM/ToolBench、API-Bank、EASYTOOL、CRAFT、MetaTool、RRAML等框架，涵盖工具接地、API检索、评估基准与图形化方法，并指出工具选择仍是主要挑战。
延伸解读
工具选择：LLM 工具使用的主要瓶颈
文章指出，尽管通过人工监督和数据调整，开源 LLM 在工具操作上的成功率可提升至 90%，但工具选择仍是主要挑战。MetaTool 基准测试表明，大多数 LLM 在正确选择工具方面存在困难。这意味着，即使模型能够执行 API 调用，面对众多工具时，如何准确挑选合适的工具仍是实际部署中的关键瓶颈，需要进一步优化检索与决策机制。
从工具接地到统一指南：提升效率的路径
文章介绍了 GEAR 和 EASYTOOL 等框架，旨在解决工具接地和文档冗长的问题。GEAR 无需任务特定演示即可实现高效工具接地，而 EASYTOOL 将多样且冗长的工具文档转化为统一简明的指南，显著减少令牌消耗并提升工具利用性能。这些方法表明，降低工具描述的复杂性和提高接地精度，是提升 LLM 工具使用效率的有效途径。
评估基准与图形化方法：推动工具增强 LLM 发展
文章提及 API-Bank 和 MetaTool 等基准测试，用于全面评估 LLM 规划 API 调用、检索 API 及正确执行的能力。同时，图形化方法被强调为 LLM 与工具互动的重要方向，通过图形编码的层次结构呈现工具目标和功能，以应对工具数量指数增长。这些评估工具和图形化框架为未来研究提供了标准化衡量和新的协同工作思路。
Q&A
如何提升开源大语言模型在工具操作方面的能力，使其能与闭源模型竞争？
通过一定程度的人工监督和对数据进行生成和调整，可以将开源LLM在工具操作方面提升至与闭源LLM相竞争的能力。实验表明，在大多数情况下，该方法可使其成功率提高至90%。
ToolLLM框架是如何构建和训练的？
ToolLLM是一个包括数据构建、模型训练和评估的通用工具使用框架。它使用ChatGPT创建工具使用指导数据集ToolBench，并通过深度优先搜索决策树（DFSDT）扩展搜索空间，获取有效解决方案路径。对LLaMA进行微调后得到ToolLLaMA，评估器ToolEval显示其在执行复杂指令和推广到未见过的API方面表现卓越，性能与ChatGPT相当。
API-Bank基准测试的目的是什么？它评估了LLM的哪些能力？
API-Bank是第一个为工具增强的LLMs定制的基准测试，旨在全面评估LLMs规划逐步API调用、检索相关API和正确执行API调用以满足人类需求的能力。实验结果表明，GPT-3.5在使用工具方面比GPT-3有更好的性能，GPT-4在规划性能方面更强，但仍有改进空间。
EASYTOOL框架解决了大语言模型使用工具时的什么问题？
EASYTOOL框架解决了大语言模型在使用工具时面临的多样性和冗长工具文档的问题。它将不同来源的多样化和冗长的工具文档转化为统一且简明的工具指南，提供标准化的工具描述和功能。实验验证表明，EasyTool能显著减少令牌消耗并提高实际场景中工具利用性能。
MetaTool基准测试主要评估LLM的什么能力？结果如何？
MetaTool是一个用于评估大型语言模型（LLMs）的工具使用意识和正确选择工具能力的基准测试。实验证明大多数LLMs在工具选择方面仍然存在困难。
RRAML框架是如何结合LLM推理和外部数据库的？
RRAML（增强检索增强机器学习）是一种新型框架，将大型语言模型的推理能力与用户提供的数据库中的检索信息相结合，有效地解决了API文本输入的上下文限制和外部数据源可用性的局限性。
