OpenMathInstruct-1：一个 180 万数学指导调优数据集
内容提要
该文汇总多项大语言模型数学推理研究：通过数学文档预训练、自动生成与修订指令数据，构建MetaMath、MAmmoTH、TheoremQA等数据集和模型，提升数学推理与指令跟随能力；并提出AutoMathText自主数据选择策略，以更少token显著提高下游性能。
延伸解读
数学推理数据集的构建策略
文章汇总了多项研究，展示了构建数学推理数据集的多种策略：通过数学文档预训练（如AutoMathText）、自动生成与修订指令数据（如MetaMath、MAmmoTH）、以及利用定理驱动问答（如TheoremQA）。这些方法旨在提升大语言模型的数学推理和指令跟随能力，为后续研究提供了数据基础。
自动数据选择提升预训练效率
AutoMathText提出了一种自主数据选择策略，利用元提示语言模型作为零-shot验证器，从大规模数学内容中筛选高质量数据。实验表明，在7B参数的Mistral模型上连续预训练，下游性能显著提高，且预训练标记效率比基准方法提升2倍，突显了数据质量在增强数学推理能力中的关键作用。
模型性能对比与评估发现
在TheoremQA评估中，GPT-4在Program-of-Thoughts Prompting帮助下达到51%的准确率，而所有开源模型均低于15%，仅略高于随机猜测。这揭示了开源模型在应用定理解决科学问题上的巨大差距，也指明了未来研究需要更广泛的算法进步，而不仅仅是增加模型规模。
Q&A
OpenMathInstruct-1 是什么？
OpenMathInstruct-1 是一个包含 180 万条数学指导调优数据的数据集，旨在提升大语言模型的数学推理能力。
OpenMathInstruct-1 如何提升大语言模型的数学推理能力？
通过基于大规模数学文档的预训练，并利用自动生成与修订指令数据的方法，提高模型的数学推理和指令跟随能力。
AutoMathText 是什么？
AutoMathText 是一个自主数据选择策略，利用元提示语言模型作为零样本验证器，自主评估和选择高质量的数学内容，并发布了一个超过 200GB 的开源数据集。
AutoMathText 在预训练效率上有什么优势？
将 7B 参数的 Mistral 语言模型在 AutoMathText 上连续预训练，相比以前的工作，下游性能显著提高，标记数量大幅减少，预训练标记效率提高了 2 倍。
TheoremQA 数据集是什么？
TheoremQA 是一个以定理驱动的问答数据集，用于评估人工智能模型应用定理解决具有挑战性的科学问题的能力。
GPT-4 在 TheoremQA 上的表现如何？
GPT-4 在 Program-of-Thoughts Prompting 的帮助下，解决 TheoremQA 问题的能力达到了 51%，而所有开源模型都低于 15%。
