超越线和圆：揭示大型语言模型中的几何推理差距
内容提要
该文综述大语言模型数学推理研究，指出其多步推理表现良好，但几何等需视觉与长推理链的问题仍弱。研究提出Geo170K、G-LLaVA、GraphLLM、逻辑训练及图验证等方法，发现模型在结构化知识、逻辑与空间推理上存在缺陷，易受选项顺序影响，需增强回溯与验证能力。
延伸解读
几何推理：LLM的薄弱环节
文章指出，大语言模型在多步数学推理上表现良好，但在几何等需要视觉与长推理链的问题上仍显薄弱。通过构建可控难度的合成几何数据集，研究发现模型在更深层次问题上表现不佳，因为解决这些问题需要更长的推理链而非额外记忆知识。这表明当前模型在结构化知识和空间推理上存在缺陷，需增强回溯与验证能力。
提升几何推理的尝试与局限
为提升几何推理，研究提出了Geo170K数据集和G-LLaVA模型，以7B参数在MathVista上超越GPT-4-V。此外，GraphLLM通过融合图学习与LLM，在多个图推理任务上平均准确率提高54.44%，并减少96.45%的上下文。然而，这些方法仍受限于模型对选项顺序、特定结构模式的敏感性，且易假设存在正确答案，表明鲁棒性不足。
逻辑与空间推理的挑战
文章还探讨了逻辑与空间推理。在归纳逻辑编程基准上，最新LLM表现不及小规模神经程序归纳系统。逻辑训练虽能提升逻辑一致性，但模型仍易产生反事实答案。空间推理方面，LLM在正方形、六边形等网格中表现变异，错误反映空间与非空间因素。这些发现说明LLM虽能隐含捕捉空间结构，但仍有改进空间。
Q&A
大型语言模型在几何推理上主要存在哪些不足？
大型语言模型在几何推理上表现不佳，尤其是在需要长推理链的复杂问题上，其能力不如先前基准测试所暗示的那么强。它们容易受选项顺序影响，在结构化知识推理上不够稳健，且逻辑推理存在缺陷，可能产生反事实答案。
有哪些方法可以提升大语言模型的几何推理能力？
研究提出了多种方法：构建多模态几何数据集Geo170K并开发G-LLaVA模型；使用GraphLLM融合图学习与LLM；采用逻辑训练赋予模型逻辑推理能力；以及基于图的验证方法，通过分析和验证LLM生成的解决方案来增强推理。
G-LLaVA是什么？它在几何问题上的表现如何？
G-LLaVA是一个利用图像输入解决几何问题的多模态模型，基于丰富的多模态几何数据集Geo170K训练。在MathVista基准测试上，仅有7B参数的G-LLaVA显著优于GPT-4-V。
GraphLLM如何提升大语言模型的图推理能力？
GraphLLM是一种端到端方法，将图学习模型与大型语言模型有机融合，使LLM能够熟练解释和推理图数据。在多个基础图推理任务上，平均准确率提高了54.44%，同时上下文减少了96.45%。
大语言模型在空间关系推理上的表现如何？
通过自然语言导航任务评估，LLM（如GPT-3.5-turbo、GPT-4和Llama2）在表示和推理空间结构方面表现出变异性，能隐含捕捉某些空间结构方面，但仍有改进空间。它们会利用对象名称作为地标来维护空间地图，错误反映了空间和非空间因素。
逻辑训练如何改善大语言模型的推理？
逻辑训练通过赋予大型语言模型逻辑推理能力，使其能在不同场景中生成更符合逻辑的答案，减少反事实答案。研究构建了综合数据集LMM-LR进行评估和预训练，验证了逻辑训练的有效性和必要性。
