ConceptMath：大型语言模型数学推理的双语概念评估基准
内容提要
该文综述大语言模型数学推理研究，涵盖问题类型、数据集与技术。研究发现模型虽能答对题，但难以识别误解与错误推理，验证能力较弱。多语种基准MGSM表明思维链随规模提升推理，元推理评估可区分模型认知。中文基准CMMLU准确率偏低。MetaMath、MathOctopus、KwaiYiiMath等经微调后在数学任务上表现领先。
延伸解读
评估重点：从答案正确性到误解识别
文章指出，传统数学评估多关注模型能否给出正确答案，但新方法要求模型模拟初学者基于不完整知识产生的错误，并让专家导师识别对应的误解。实验发现，尽管LLMs能轻松答对小学数学题，却难以识别错误答案背后的误解。这提示仅凭准确率可能高估模型的教学推理能力，教育应用中需关注模型对错误认知的解析与纠正能力。
多语言与中文基准的表现差异
MGSM基准通过将GSM8K的250个问题翻译成十种语言，发现随着模型规模增加，思维链提示能提升多语言推理能力，即使在孟加拉语、斯瓦希里语等低资源语言中也有较强表现。然而，中文综合基准CMMLU显示，多数LLM在提供上下文示例和思维链提示时平均准确率仍难达50%，远高于随机基准25%但改进空间显著。
元推理评估：揭示认知缺陷的新范式
文章介绍了一种元推理评估范式，旨在挑战模型对自身推理过程的认知，而非仅关注结果。该范式能有效区分模型认知能力，例如GPT-4准确率是GPT-3.5的十倍，并揭示GSM8K等基准因饱和而未能发现的潜在缺陷。综合分析还指出当前最先进数学模型在训练和评估方法上存在根本缺陷，呼吁评估范式转变。
微调模型在数学任务上的领先表现
通过监督微调和基于人类反馈的强化学习，MetaMath、MathOctopus和KwaiYiiMath等模型在数学推理任务上表现突出。MathOctopus利用翻译构建的多语言指令数据集，在少样本情况下优于传统开源模型和ChatGPT；KwaiYiiMath在GSM8k、CMath及中文小学数学测试集KMath上达到领先水平。这些进展表明针对性微调能有效提升数学推理能力。
Q&A
大型语言模型在数学推理评估中主要面临哪些挑战？
研究发现，尽管LLMs能正确回答数学问题，但难以识别与特定误解对应的错误答案，也难以解释错误答案背后的误解。此外，模型生成的解决方案常通过错误推理步骤得出正确答案，且大多数模型在验证这些解决方案时遇到困难。
有哪些多语种数学推理基准或模型被提出？
MGSM基准通过将GSM8K的250个问题翻译成十种语言评估多语种推理能力；MathOctopus是基于MGSM8KInstruct训练的多语种数学推理模型，在少样本情况下表现优于传统开源模型和ChatGPT。
思维链提示如何影响多语种数学推理能力？
随着模型规模增加，使用思维链提示解决MGSM问题的能力越来越强，即使在孟加拉语和斯瓦希里语等少数语言中，模型也展现出很强的多语种推理能力。
中文基准CMMLU的评估结果如何？
CMMLU涵盖自然科学、社会科学、工程学和人文学科等多个领域，评估了18种多语言和中文LLMs。结果显示，大多数现有LLM在提供上下文示例和思维链提示时仍难以达到50%的平均准确率，而随机基准线为25%，表明有显著改进空间。
哪些模型在数学推理任务上表现领先？
MetaMath通过微调专注于数学推理，表现优于开源语言模型；KwaiYiiMath通过监督微调和人类反馈强化学习，在GSM8k、CMath和KMath上达到最先进性能；MathOctopus在多语种数学推理上表现强劲。
元推理评估范式与传统评估有何不同？
元推理评估范式将重点从以结果为导向的评估转向更综合的评估，能有效区分模型之间的认知能力。例如，GPT-4的准确率比GPT3-5高十倍，并能揭示当前基准测试（如GSM8K）未能发现的潜在认知缺陷。
