中文多模态数学数据集CMM-Math：评估与提升大型多模态模型的数学推理能力
内容提要
该研究评估了大型语言模型在小学数学推理中的能力，发现GPT-4在算术和推理方面表现优异。研究提出了FineMath数据集用于评估中文LLMs的数学能力，结果显示仍有提升空间。此外，开发了CMMaTH基准和MultiMath-7B模型，推动多模态数学推理的发展。
延伸解读
中文数学推理评估的现状与挑战
文章指出，当前大型语言模型在小学数学推理中，仅GPT-4表现出鲁棒性，其他模型均不具备。针对中文场景，FineMath基准的提出填补了细粒度评估的空白，其实验表明中文LLMs的数学推理能力仍有较大提升空间。评估过程和方法会显著影响模型结果，这提示研究者和开发者需谨慎设计评估方案，避免因方法差异导致对模型能力的误判。
多模态数学推理的基准与模型进展
为推进多模态数学推理，文章介绍了CMMaTH基准和MultiMath-7B模型。CMMaTH包含23k个中小学多模态数学问题，是迄今最大的中文多模态数学问题基准，并配有开源工具GradeGPT用于稳定、快速、免费的评估。MultiMath-7B通过多阶段训练和MultiMath-300K数据集，在现有多模态数学基准上达到最先进性能，并在文本数学基准上表现优异，解决了开源模型在整合数学推理与视觉输入上的不足。
评估方法对模型能力理解的影响
文章强调，评估过程和方法会显著影响模型结果以及对模型数学推理能力的理解。FineMath的细粒度分类和难度标注为深入分析提供了基础，而CMMaTH与GradeGPT的结合则提升了评估的稳定性和效率。这些工作表明，构建全面、多样化的基准并标准化评估流程，对于准确衡量模型能力、推动模型迭代至关重要。
Q&A
GPT-4在小学数学推理中表现如何？
GPT-4在算术和推理方面表现优异，是唯一在所有六个小学年级取得成功的模型。
FineMath数据集的主要特点是什么？
FineMath数据集用于评估中文LLMs的数学能力，涵盖小学数学的主要概念，并划分为17类应用问题。
CMMaTH基准的内容包括哪些？
CMMaTH基准包含23k个中小学多模态数学问题，是最大的中文多模态数学问题基准。
MultiMath-7B模型解决了什么问题？
MultiMath-7B模型解决了开源大型语言模型在数学推理与视觉输入整合上的不足，达到了最先进的性能。
中文LLMs的数学推理能力还有哪些提升空间？
实验结果显示，中文LLMs的数学推理能力仍有相当大的提升空间，评估过程和方法显著影响模型结果。
该研究对大型语言模型的评估方法有什么贡献？
该研究提供了全面多样的问题集，强调了评估过程和方法对模型结果的显著影响，为未来研究提供了有价值的见解。
