在 Imaginarium 中的 LLMs: 通过模拟试错学习工具
内容提要
本文介绍了MetaTool，一个评估大型语言模型（LLMs）工具使用能力的基准测试。研究提出了LLMs As Tool Makers (LATM)框架，使LLMs能够自创工具并在复杂推理任务中表现出色。通过Tool-LMM系统，LLMs能够识别多模态输入并推荐合适工具。研究显示，ToolLLM框架在增强自然语言模型的规划和推理能力方面具有显著效果，特别是在科学问题解决中，SciAgent的表现优于其他LLMs。
延伸解读
工具选择仍是LLMs的薄弱环节
MetaTool基准测试显示，大多数LLMs在工具选择方面仍存在困难。这表明，尽管LLMs在生成文本等任务上表现出色，但在需要判断何时使用何种工具的场景中，其能力仍有不足。对于希望将LLMs应用于实际工具调用的开发者而言，需关注模型在工具选择上的准确性，并可能需通过额外训练或提示工程来提升。
LATM框架：自创工具与成本优势
LATM框架让LLMs自行创建可重用工具，使用GPT-4作为工具制造者、GPT-3.5作为工具用户，在Big-Bench等复杂推理任务中，性能与完全使用GPT-4相当，但推理成本显著降低。这提示了一种经济高效的部署思路：通过分工，让更强模型负责工具创建，较弱模型负责工具使用，从而平衡性能与成本。
工具增强在专业领域的显著收益
在知识库和数据库任务中，配备工具的GPT-4性能分别提升2.2倍和2.8倍。在科学领域，SciAgent-Mistral-7B在SciToolBench上绝对准确率比同规模LLMs高出13%以上，SciAgent-DeepMath-7B甚至优于ChatGPT。这些结果表明，工具增强能大幅提升LLMs在复杂专业任务中的表现，为科学问题解决等场景提供了新思路。
Q&A
MetaTool 是什么？
MetaTool 是一个用于评估大型语言模型（LLMs）工具使用能力的基准测试。
LATM 框架的主要功能是什么？
LATM 框架使 LLMs 能够自创工具以解决复杂推理任务，并验证其有效性。
Tool-LMM 系统如何增强 LLMs 的能力？
Tool-LMM 系统结合多模态输入指令，使 LLMs 能够识别并推荐适当的工具。
SciAgent 在科学问题解决中的表现如何？
SciAgent 在工具协助下的能力评估中，表现优于其他 LLMs，特别是在科学领域的基准测试中。
研究中提到的 GPT-4 的优势是什么？
配备工具的 GPT-4 在复杂任务中的性能显著提高，尤其是在数据库和知识库任务中。
ToolLLM 框架的影响是什么？
ToolLLM 框架显著增强了自然语言模型的规划和推理能力，特别是在科学问题解决中表现优异。
