唐格拉姆：几何元素识别的挑战性基准
内容提要
该论文介绍了KiloGram和GeoEval基准测试，评估大型语言模型和多模态模型在几何数学推理中的能力。研究发现，当前模型在复杂几何问题和多步推理方面表现不佳。提出EAGLE框架以提升几何推理能力，显示出显著改进。
延伸解读
几何推理评估的难点
文章指出，当前大语言模型和多模态模型在复杂几何问题和多步推理上表现不佳。GeoEval基准通过多个子集（如逆向推理、增强、困难）系统评估模型，发现模型在困难子集上准确率骤降，例如WizardMath在主子集达55.67%，但困难子集仅6.00%。这表明模型可能依赖记忆而非真正推理，尤其在需要长推理链时。
多模态模型的视觉感知瓶颈
文章强调，多模态模型在几何计算领域存在显著不足，主要瓶颈在于较弱的视觉感知和归纳推理能力。模型从图像中解析几何信息时经常出错，甚至产生幻觉。因此，评估方法应包含推理和过程正确性，而仅看最终答案可能掩盖问题。VisionGraph基准也发现所有LMM在图形结构感知准确性上表现较差。
提升几何推理的尝试
为改善几何推理，文章介绍了EAGLE框架，通过两阶段视觉增强提升模型能力，在多个基准测试中超越现有先进模型。此外，描述-编程-推理（DPR）链提高了多模态图论问题的逻辑准确性，GPT-4V（DPR）达到SOTA。这些方法表明，针对视觉感知和推理过程的增强有望推动模型在几何领域的表现。
Q&A
KiloGram和GeoEval基准测试的目的是什么？
KiloGram和GeoEval基准测试旨在评估大型语言模型和多模态模型在几何数学推理中的能力。
当前模型在几何推理方面存在哪些不足？
当前模型在复杂几何问题和多步推理方面表现不佳，尤其是在困难子集上的准确率较低。
EAGLE框架是如何提升几何推理能力的？
EAGLE框架通过两阶段的视觉增强来提升几何推理能力，在多个基准测试中超越现有模型。
WizardMath模型在基准测试中的表现如何？
WizardMath模型在主子集上的准确率为55.67%，但在困难子集上的准确率仅为6.00%。
GeoEval基准测试包含哪些子集？
GeoEval基准测试包括主子集、逆向推理子集、增强子集和困难子集。
多模态模型在几何计算领域的主要挑战是什么？
多模态模型在几何计算领域面临显著的视觉感知不足和推理能力的挑战。
