GSM-Symbolic：理解大型语言模型中数学推理的局限性

BriefGPT - AI 论文速递 · 2024-10-07T00:00:00Z

研究者提出数学主题树（MaTT）基准，包含1,958个问题，用于评估大语言模型的数学推理能力。结果显示，GPT-4在多项选择题中的准确率为54%，无选项时下降24.2个百分点。即使使用思维链提示，改进效果不明显。手动评估发现，GPT-4在正确回答时，仅有53.3%的解释完整准确，显示其推理能力有限。