八爪鱼：软件 API 函数调用的设备端语言模型
内容提要
Octopus 是一种新型视觉-语言模型，旨在提升人工智能的工具使用能力。通过 ToolLLM 框架，增强了自然语言模型的规划和推理能力。Gorilla 模型在 API 调用方面超越了 GPT-4，展示了 LLM 使用工具的潜力。研究提出了 API-Bank 基准测试，评估 LLM 的 API 调用能力，发现 GPT-4 在规划性能上有改进空间。整体框架有效提升了 LLM 的任务规划和工具使用能力。
延伸解读
工具增强LLM的评估基准
文章介绍了API-Bank，这是首个为工具增强的LLM定制的基准测试，用于全面评估LLM规划逐步API调用、检索相关API和正确执行API调用的能力。实验表明，GPT-3.5在使用工具方面优于GPT-3，而GPT-4在规划性能上更强，但仍有改进空间。这为衡量LLM工具使用能力提供了标准化方法。
开源模型在API调用上的突破
Gorilla模型通过基于LLaMA的微调技术，在编写API调用方面超越了GPT-4，并借助文档检索器适应测试时的文档变化，减少了幻觉问题。ToolLLaMA也展现出执行复杂指令和泛化到未见API的能力，性能与ChatGPT相当。这表明开源模型在工具使用上具有竞争力。
从规划到执行：框架整合与挑战
文章提到一个综合框架，通过API检索器、LLM精调器和演示选择器来增强LLM的任务规划和工具使用能力。同时，MultiAPI数据集评估显示，多模态任务中LLM在API调用决策、领域识别、功能选择和参数生成等方面仍面临挑战，指出了未来研究方向。
Q&A
Octopus 模型的主要功能是什么？
Octopus 模型能够解读视觉和文本任务目标，并生成可执行代码。
ToolLLM 框架如何增强自然语言模型的能力？
ToolLLM 框架通过数据构建、模型训练和评估，显著提升了自然语言模型的规划和推理能力。
Gorilla 模型与 GPT-4 的比较如何？
Gorilla 模型在 API 调用方面超越了 GPT-4，展示了更强的工具使用潜力。
API-Bank 基准测试的目的是什么？
API-Bank 基准测试旨在评估 LLM 在规划和执行 API 调用方面的能力。
研究中提到的工具增强 LLMs 的优势是什么？
工具增强的 LLMs 在复杂任务中表现出色，有助于解决实际应用中的问题。
如何提高大型语言模型的 API 调用能力？
通过引入新的工具调用管道和设计神经 API 检索器，可以提高大型语言模型的 API 调用能力。
