使LLM善假于物: Toolformer

Meta AI开发了Toolformer，一种允许大型语言模型（LLMs）学习如何使用外部工具的方法。Toolformer可以确定调用哪些API，何时调用它们，传递什么参数以及如何集成API返回值。它以自监督的方式进行训练，并在不牺牲其核心语言建模能力的情况下显示出显著的零-shot性能改进。该方法通过从头开始生成数据集，使用上下文学习、采样API调用、执行调用并根据其对语言模型损失的影响进行过滤。实验结果证明了Toolformer在各种下游任务中的有效性。然而，仍然有一些待解决的限制。