CACTUS: 化学代理连接工具的使用与科学
内容提要
本文介绍了通过引入可扩展工具集和开发SciAgent，提升大型语言模型（LLMs）在科学推理中的能力。构建了包含30,000个样本和6,000个工具的训练语料库，并通过SciToolBench基准测试验证了SciAgent的有效性，特别是SciAgent-Mistral-7B在准确率上优于其他同类模型。此外，提出了CACA Agent和ConAgents框架，增强了AI代理的规划能力和工具使用效率。
延伸解读
工具增强：从全知到专用
文章指出，通过为LLMs引入可扩展的工具集，研究重点从追求全知问题解决者转向专业的工具使用者。这提高了科学推理的可行性，因为模型无需内化所有知识，而是学会检索、理解和使用外部工具。MathFunc语料库包含超过30,000个样本和约6,000个工具，为训练SciAgent提供了基础。
SciAgent的性能优势
在SciToolBench基准测试中，SciAgent-Mistral-7B在绝对准确率上比同规模的其他LLMs高出13%以上，而SciAgent-DeepMath-7B的性能远超ChatGPT。这表明工具增强训练能显著提升模型在科学问题上的表现，尤其是对于较小规模的模型。
代理框架的演进
文章还介绍了CACA Agent和ConAgents框架。CACA Agent利用协同能力和开放式架构，增强了AI代理的可扩展性和规划能力。ConAgents框架将工具学习工作流模块化为基础、执行和观察代理，并引入迭代校准方法，在三个数据集上优于SOTA基准。这些进展显示了AI代理在工具使用和规划方面的持续优化。
Q&A
SciAgent的主要功能是什么？
SciAgent用于科学问题的工具检索、理解和使用，提升大型语言模型在科学推理中的能力。
SciToolBench基准测试的作用是什么？
SciToolBench基准测试用于评估大型语言模型在工具协助下的能力，验证SciAgent的有效性。
SciAgent-Mistral-7B与其他模型相比有什么优势？
SciAgent-Mistral-7B在准确率上比同类模型高出13%以上，表现优越。
CACA Agent和ConAgents框架的主要特点是什么？
CACA Agent增强了AI代理的可扩展性和规划能力，而ConAgents框架模块化了工具学习的工作流程。
如何通过工具集提升大型语言模型的科学推理能力？
引入可扩展的工具集，使大型语言模型成为专业的工具使用者，从而增强其科学推理能力。
CACTUS范式的主要优势是什么？
CACTUS范式通过微分类器实现上下文感知分类，优化训练成本并在资源有限的情况下提高性能。
