该文章介绍了WE-MATH基准，用于评估大型多模态模型在数学推理任务中的表现。通过拆解数学问题为子问题，并引入四维度指标进行评估，发现模型的作答情况与问题所包含的知识点数量呈负相关。大多数模型存在知识掌握不足和死记硬背的问题，而GPT-4o模型在这方面表现最好。引入KCA策略可以提升模型的表现。该基准为研究人类般的视觉数学推理提供了启示。