大型语言模型的空间推理推进：使用 StepGame 基准进行深入评估和增强
内容提要
该文综述大语言模型空间与逻辑推理研究：提出StepGame数据集与TP-MANN提升多跳空间推理；用前缀提示分析3D轨迹与2D形状；评估ChatGPT空间推理局限；以国际象棋考察复杂推理；构建空间问答基准并用远距离监督生成数据提升理解；发现GPT-4少样本有潜力而微调模型难泛化；研究RCC-8定性空间推理；比较ChatGPT与DALL-E 2认知能力；提出LogicAsker自动评估改进逻辑推理，错误率25%–94%，GPT-4提升10%。
延伸解读
空间推理评估的多样化路径
文章汇总了多个针对大语言模型空间推理的评估工作，涵盖StepGame数据集、3D轨迹与2D形状分析、ChatGPT空间推理局限、国际象棋复杂推理、空间问答基准以及RCC-8定性空间推理等。这些研究从不同角度揭示模型能力，表明单一基准难以全面反映空间推理水平，需结合多类任务和数据集进行综合判断。
提示与数据增强的实际效果
文章提到前缀提示机制提升了3D轨迹和2D形状任务性能，远距离监督自动生成数据可增强模型对空间描述的理解，并迁移到bAbI和boolQ。少样本GPT-4在空间推理上展现潜力，而微调模型在小环境或障碍物场景下泛化困难。这说明提示设计和数据生成策略对性能有直接影响，但泛化能力仍是待解问题。
逻辑推理的自动评估与改进
LogicAsker作为自动评估和改进逻辑推理的方法，在GPT-3、ChatGPT、GPT-4、Bard、Vicuna和Guanaco等模型上发现逻辑推理错误率从25%到94%不等。其测试用例还可用于设计上下文学习示例，使GPT-4的逻辑推理能力提升10%。这提示系统化测试不仅能暴露模型缺陷，还能转化为改进提示的有效资源。
Q&A
StepGame数据集是用来做什么的？它采用了什么模型来解决空间推理任务？
StepGame是一个新的多跳空间推理文本问答数据集，用于评估和提升模型的空间推理能力。该研究利用基于张量积的记忆增强神经网络（TP-MANN）来解决空间推理任务，并在性能上优于bAbI数据集，表现出更好的稳健性。
大型语言模型在空间推理方面存在哪些主要局限性？
研究表明，ChatGPT等模型在空间推理和导航任务中存在固有限制，例如在棋盘理解、规则遵守和战略决策上表现出注意机制和自我调节能力的不足。微调后的LLM在小环境或有障碍物的情况下难以泛化，而少样本GPT-4则展现出一定潜力。
如何提升大型语言模型的空间理解能力？
一种有效方法是采用远距离监督：设计语法和推理规则自动生成视觉场景的空间描述和问答配对，并用这些数据进一步预训练语言模型，从而显著提高空间理解能力，并有助于解决bAbI和boolQ等外部数据集。
LogicAsker是什么？它如何评估和改进LLM的逻辑推理能力？
LogicAsker是一种自动方法，全面评估和改进基于命题和谓词逻辑的大型语言模型的逻辑推理能力。它在GPT-3、ChatGPT、GPT-4、Bard、Vicuna和Guanaco等模型上测试，发现逻辑推理错误率在25%到94%之间。其测试用例还可用于设计上下文学习示例，有效提升逻辑推理能力，例如GPT-4提升了10%。
ChatGPT和DALL-E 2在认知能力（特别是空间推理）上有什么差异？
通过选择性评估发现，DALL-E 2在空间推理方面表现较好，而ChatGPT在合理构建下呈现出一定的合理性，但也存在不合理决策。研究还指出，在扩大模型认知能力评估规模及答案具备的挑战方面存在困难。
大型语言模型在定性空间推理任务（如RCC-8）上的表现如何？
研究以RCC-8为例，考察了大型语言模型在经典定性空间推理任务上的能力。定性空间推理是常识推理的一个广泛研究领域，应用范围从地理信息系统到机器人和计算机视觉。
