定制 LLMs:创建和检索专业工具集
💡
原文中文,约400字,阅读约需1分钟。
📝
内容提要
该文介绍了一种通用工具使用框架 ToolLLM,它可以增强自然语言模型的规划和推理能力。作者使用 ChatGPT 创建了一个工具使用指导数据集 ToolBench,并使用深度优先搜索决策树(DFSDT)扩展搜索空间,有效地获取有效的解决方案路径。通过对 LLaMA 进行微调后得到 ToolLLaMA,作者的评估器 ToolEval 显示 ToolLLaMA 在执行复杂指令和推广到未见过的 API 方面表现出卓越的能力,并与 ChatGPT 有着相当的性能。为了使流程更加实用,作者还设计了一个神经 API 检索器以为每个指令推荐适当的 API。
🎯
关键要点
- 引入了通用工具使用框架 ToolLLM,增强自然语言模型的规划和推理能力。
- 创建了工具使用指导数据集 ToolBench,并使用深度优先搜索决策树(DFSDT)扩展搜索空间。
- 通过对 LLaMA 进行微调得到 ToolLLaMA,评估显示其在执行复杂指令和推广到未见过的 API 方面表现卓越。
- ToolLLaMA 的性能与 ChatGPT 相当。
- 设计了神经 API 检索器,为每个指令推荐适当的 API,简化了手动选择 API 的步骤。
➡️