SuperCLUE-Math6: 适用于中文语言模型的分级多步数学推理基准测试
内容提要
该文汇总了多个中文大模型评测基准：SuperCLUE评估中文开放问题偏好；小学数学测试显示仅GPT-4具鲁棒推理；MGSM检验多语种数学推理；SciBench考察大学科学问题求解，LLM得分仅35.80%；GSM8K推动多步数学推理；SuperCLUE-Safety评估中文模型安全性；CMMLU覆盖多学科中文知识；CLUE是首个中文语言理解基准；KwaiYiiMath提升中英数学推理能力。
延伸解读
中文数学推理评测的现状与挑战
文章汇总了多个中文大模型评测基准，其中数学推理是重点。SuperCLUE-Math6作为分级多步数学推理基准，旨在评估模型在小学六个年级的数学能力。然而，研究发现仅GPT-4在算术和推理方面具有鲁棒性，其他模型均不具备。这揭示了当前中文大模型在数学推理上的不足，尤其是多步推理能力。GSM8K和MGSM等基准也表明，即使最大模型在多步数学推理上仍有困难。因此，提升模型的鲁棒推理能力是中文大模型发展的关键挑战。
多语种与跨学科推理的评测扩展
除了中文数学推理，文章还介绍了多语种和跨学科评测。MGSM通过将GSM8K问题翻译成十种语言，评估模型的多语种推理能力，发现随着模型规模增加，思维链提示能提升多语种推理，甚至在低资源语言中表现强劲。SciBench则聚焦大学级科学问题，LLM综合得分仅35.80%，错误可归类为十种问题解决能力，且没有单一提示策略明显占优。这些基准表明，LLM在复杂推理任务上仍有很大提升空间，且需平衡不同技能。
中文模型安全性与知识评测的进展
文章还涉及中文模型的安全性和知识评测。SuperCLUE-Safety通过多轮对抗基准评估中文大模型安全性，发现闭源模型优于开源模型，中国模型与GPT-3.5-turbo安全水平相当，小参数模型（6B-13B）也具有竞争力。CMMLU覆盖多学科中文知识，评估显示大多数LLM平均准确性不足50%，远高于随机基线25%，但仍有显著改进空间。CLUE作为首个中文语言理解基准，推动了中文NLP发展。这些评测为模型选择和改进提供了指导。
Q&A
SuperCLUE-Math6是什么？它主要评估什么能力？
SuperCLUE-Math6是一个适用于中文语言模型的分级多步数学推理基准测试，旨在评估模型在小学数学多步推理方面的能力。
在小学数学推理测试中，哪些模型表现出了鲁棒性？
研究发现，只有GPT-4在算术问题和推理方面具有鲁棒性，其他模型均不具备鲁棒性。
MGSM基准测试是如何评估多语种数学推理能力的？
MGSM通过将GSM8K数据集中的250个小学数学问题手动翻译成十种不同语言，评估大型语言模型在多语种环境下的推理能力。研究发现，随着模型规模增加，使用思维链提示解决MGSM问题的能力越来越强，即使在孟加拉语和斯瓦希里语等少数语言中，模型也具有非常强的多语种推理能力。
SciBench基准测试的结果如何？LLM在科学问题求解上的表现怎样？
SciBench包含大学级科学问题，对两个代表性LLM的基准研究显示，当前LLM的综合得分仅为35.80%，表现不尽如人意。分析表明没有单一提示策略明显优于其他策略，且某些策略在提高某些问题解决技能时会导致其他技能下降。
CMMLU基准测试覆盖哪些领域？现有LLM的表现如何？
CMMLU涵盖自然科学、社会科学、工程学和人文学科等多个领域。评估18种多语言和中文LLM显示，大多数现有LLM在提供上下文示例和思维链提示时仍难以达到50%的平均准确性，而随机基准线为25%，凸显出LLM有显著改进空间。
KwaiYiiMath如何提升数学推理能力？它在哪些测试上取得了最优性能？
KwaiYiiMath通过在英语和中文数学任务上应用监督微调和基于人类反馈的强化学习来提升数学推理能力，在GSM8k、CMath和一个小规模中文小学数学测试集KMath上取得了最先进的性能。
