ToolLLM:大语言模型的工具使用和训练框架
原文中文,约1000字,阅读约需3分钟。发表于: 。这是来自腾讯微信AI的一个用于训练、服务和评估用于工具学习的大型语言模型的开放平台。 尽管开源大语言模型(LLM)及其变体(例如 LLaMA 和 Vicuna)取得了进步,但它们在执行更高级别的任务(例如遵循人类指令使用外部工具(API))方面仍然受到很大限制。这是因为当前的指令调优主要集中在基本语言任务而不是工具使用领域。 这与最先进的 (SOTA) LLM 形成鲜明对比,例如...
腾讯微信AI开放平台引入了ToolLLM,一个用于训练、服务和评估大型语言模型的工具学习平台。他们使用ChatGPT自动构建了高质量的指令调整数据集和模型,并开发了DFSDT以增强LLM的规划和推理能力。ToolEval是他们开发的自动评估器,用于评估工具使用情况。研究表明,ToolLLaMA在执行复杂指令和泛化到未见过的API方面表现出卓越能力。他们还设计了神经API检索器,用于为每条指令推荐合适的API。