DeepSeekMath：推动开放语言模型中数学推理的极限
内容提要
本文综述大语言模型数学推理进展，提出MetaMath、MathCoder等微调模型，在GSM8K和MATH上超越ChatGPT-3.5，部分超GPT-4；构建MathCodeInstruct、SC-Math6等数据集，并探索多语种MathOctopus模型。
延伸解读
数学推理：大语言模型的短板与突破
文章指出，尽管大语言模型在自然语言理解上进展显著，但数学推理能力仍是实现通用智能的短板。为此，研究者通过丰富数据环境和引入新数据集，并采用微调协议，显著提升了7B参数模型在GSM8K和MATH上的性能。这提示我们，针对性的数据与微调策略是提升模型数学推理的有效途径。
微调模型表现亮眼，部分超越GPT-4
文章提到，MetaMath、MathCoder等微调模型在GSM8K和MATH上超越了ChatGPT-3.5，部分甚至超过GPT-4。例如，MathCoder在MATH上达到45.2%，在GSM8K上达到83.9%，创下开源模型最佳成绩。这表明，通过高质量数据集和定制化微调，开源模型能在特定任务上媲美甚至超越闭源大模型。
中文数学推理评估的新基准
文章介绍了SuperCLUE-Math6（SC-Math6），这是一个针对中文语言模型数学推理能力的新基准，包含2000多个多步推理问题。实验显示，不同中文模型推理水平分层明显，GPT-4表现优异。该基准填补了中文数学推理评估的空白，为推进中文模型智能化提供了测试平台。
多语种数学推理的探索
文章还提到，研究者构建了首个多语种数学推理指令数据集MGSM8KInstruct，并训练出MathOctopus模型。该模型在少样本情况下表现优于传统开源模型和ChatGPT，展示了多语种数学推理的潜力。这为未来跨语言数学推理研究提供了新方向。
Q&A
DeepSeekMath 是什么？它主要解决了什么问题？
DeepSeekMath 是一个专注于数学推理的大型语言模型。它通过丰富数据环境和引入新的数学数据集（具有使用 Python 代码解释器的能力），解决了大型语言模型在数学推理能力方面的不足。
MathCoder 模型在数学推理任务上取得了哪些成绩？
MathCoder 模型在 MATH 数据集上达到了 45.2% 的准确率，在 GSM8K 数据集上达到了 83.9% 的准确率，取得了开源语言模型的最新得分。它不仅超过了 ChatGPT-3.5 和 PaLM-2，还在竞争级别的 MATH 数据集上超过了 GPT-4。
MetaMath 是什么？它有什么特点？
MetaMath 是一个精细调整的语言模型，专注于数学推理。实验证明，MetaMath 在数学推理方面表现优于开源语言模型。
SC-Math6 是什么？它有什么作用？
SC-Math6 是一个新的基准数据集，用于评估中文语言模型的数学推理能力。它是 GSM8K 数据集的升级版，具有增强的难度、多样性和应用范围，包含 2000 多个需要多步推理并提供自然语言解决方案的数学问题。它填补了中文数学推理基准的空白。
MathOctopus 是什么？它有什么优势？
MathOctopus 是一个强大的多语种数学推理模型。它通过利用翻译构建了首个多语种数学推理指令数据集 MGSM8KInstruct，并采用不同的训练策略。在少样本情况下，MathOctopus 表现优于传统开源模型和 ChatGPT。
现有大型语言模型在数学推理任务中存在哪些不足？
现有模型在扰动问题上性能显著下降，缺乏深度推理能力。尽管研究者不断增加 Transformer 模型的预算和参数总数，但在 MATH 数据集上的准确性仍然相对较低，因此未来的研究可能需要更广泛的算法进步。
