真相了！大模型解数学题和人类真不一样：死记硬背、知识欠缺明显，GPT-4o表现最佳
内容提要
该文章介绍了WE-MATH基准，用于评估大型多模态模型在数学推理任务中的表现。通过拆解数学问题为子问题，并引入四维度指标进行评估，发现模型的作答情况与问题所包含的知识点数量呈负相关。大多数模型存在知识掌握不足和死记硬背的问题，而GPT-4o模型在这方面表现最好。引入KCA策略可以提升模型的表现。该基准为研究人类般的视觉数学推理提供了启示。
延伸解读
知识点数量与模型表现的负相关
WE-MATH基准通过拆解数学问题为子问题，发现模型作答情况与题目包含的知识点数量呈明显负相关。这意味着题目涉及的知识点越多，模型表现越不理想。这一规律提示，在评估模型数学推理能力时，知识点数量可作为难度建模的参考指标，也说明模型在多步推理和知识综合运用上仍有局限。
四维度指标揭示模型推理机制
WE-MATH引入知识掌握不足（IK）、泛化能力不足（IG）、完全掌握（CM）和死记硬背（RM）四个维度。多数模型存在IK和RM问题，尤其是较小模型。GPT-4o在RM和IK维度上大幅领先，表明其更接近人类解题方式，真正学到了知识而非机械记忆。这为细粒度评估模型推理提供了新视角。
KCA策略的成效与局限
引入KCA策略后，不同参数规模的模型在严格和宽松指标上均表现出一致提升，显著缓解了知识掌握不足（IK）问题。然而，对泛化能力不足（IG）的改善并不明显。这与人类直觉一致：知识描述主要填补推理知识缺口，而提升知识泛化能力需要更全面的模型改进，为未来研究指明了方向。
Q&A
WE-MATH基准的主要目的是什么？
WE-MATH基准用于评估大型多模态模型在数学推理任务中的表现。
GPT-4o在数学推理任务中的表现如何？
GPT-4o在数学推理任务中表现最佳，尤其在知识掌握和死记硬背方面优于其他模型。
模型在解答数学问题时存在哪些主要问题？
大多数模型存在知识掌握不足和死记硬背的问题，尤其是在较小的模型中更为明显。
KCA策略对模型表现有什么影响？
KCA策略显著缓解了知识掌握不足的问题，但对泛化能力的改善有限。
WE-MATH数据集包含多少个数学问题？
WE-MATH数据集共包含6.5k个多模态小学数学问题。
模型作答情况与知识点数量之间有什么关系？
模型作答情况与题目所包含的知识点数量呈负相关关系，知识点越多，模型作答情况越不理想。
