MATHSENSEI：数学推理工具增强的大型语言模型
内容提要
本文综述工具增强语言模型研究，通过自我对弈、外部工具和微调提升数学与科学推理。代表工作有MathFunc、SciAgent、MetaMath、MathGenie、KwaiYiiMath、SkyMath及金融模型Raven，在GSM8K、MATH等基准上超越同类开源模型，缓解幻觉与误差传播。
延伸解读
工具增强：从全知到专用
文章指出，工具增强型语言模型将研究重点从追求全知问题解决者转变为专业的工具使用者。通过引入可扩展的工具集，模型能借助外部工具处理数学与科学推理，从而在不依赖模型规模的前提下提升能力。这为缓解幻觉和误差传播提供了新思路，尤其适合数据异构、精确性要求高的领域。
MathFunc与SciAgent：工具增强的实践
MathFunc构建了涵盖超过30,000个样本和约6,000个工具的训练语料库，并在此基础上开发了SciAgent，用于科学问题的工具检索、理解和使用。实验表明，SciAgent-Mistral-7B在绝对准确率上比同规模模型高出13%以上，SciAgent-DeepMath-7B性能远超ChatGPT，验证了工具增强在科学推理中的有效性。
数学推理的多样化进展
文章综述了多个数学推理模型：MetaMath通过微调提升数学推理；MathGenie利用种子数据生成多样问题，其MathGenieLM-InternLM2在GSM8K上达到87.7%准确率，MATH上55.7%；KwaiYiiMath结合监督微调和强化学习，在GSM8k、CMath等基准上达到SOTA；SkyMath通过自我比较微调，在GSM8K上超越同规模开源模型。这些工作展示了不同技术路径的潜力。
金融领域的工具增强尝试
文章提到，在金融领域，通过监督微调将LLaMA-2 13B Chat模型改造为任务路由器和任务解决器，并利用金融问答数据集训练出Raven模型。Raven在改进基准模型和仅监督微调的基线模型上分别提升了35.2%和5.06%，与GPT-3.5竞争效果良好。这是首个探索金融领域工具增强语言模型的研究，显示了工具增强在专业领域的应用前景。
Q&A
工具增强型语言模型在数学推理上有什么优势？
工具增强型语言模型通过引入外部工具，可以缓解传播误差和幻觉等挑战，在知识丰富型问答和数学任务中表现优于非增强型语言模型，并在超越分布推理方面取得成功。
MathFunc和SciAgent是什么？
MathFunc是一个涵盖超过30,000个样本和约6,000个工具的工具增强训练语料库；SciAgent是基于MathFunc开发的用于科学问题的工具检索、理解和使用模型，并构建了SciToolBench基准来评估LLMs在工具协助下的能力。
有哪些数学推理的微调模型在GSM8K和MATH上表现突出？
MetaMath、MathGenie、KwaiYiiMath、SkyMath等模型在GSM8K和MATH等基准上表现突出。例如，MathGenieLM-InternLM2在GSM8K上达到87.7%的准确率，在MATH上达到55.7%的准确率；SkyMath在GSM8K上创造了新的SOTA性能。
Raven模型在金融领域有什么创新？
Raven是首个探索对金融领域语言模型进行工具增强的研究。它通过监督微调将LLaMA-2 13B Chat模型变为任务路由器和任务解决器，在金融问答数据集上比改进基准模型和仅监督微调的基线模型分别提升了35.2%和5.06%，并与GPT-3.5取得了很好的竞争效果。
MGSM基准是什么？它评估了什么能力？
MGSM基准是通过将GSM8K数据集中的250个小学数学问题手动翻译成十种不同语言而构建的，用于评估大型语言模型在多语种环境下的推理能力。研究发现，随着模型规模增加，使用思维链提示解决MGSM问题的能力越来越强，即使在孟加拉语和斯瓦希里语等少数语言中，模型也具有很强的多语种推理能力。
如何通过自我对弈技术增强语言模型的数学推理能力？
基于迭代“自我对弈”技术的文本增强语言模型方法，使用不可微分的工具扩充语言模型功能，成功在知识丰富型问答和简单工具所需的数学任务中具有很强的表现力，优于非增强型语言模型，并在超越分布推理方面取得成功。
