非言语抽象推理的研究：多模态大型语言模型的好奇之境
内容提要
该文综述多模态大语言模型（MLLMs）推理能力研究：提出评估中间推理步骤的基准，发现模型抽象推理能力有限；构建涵盖抽象模式、人类活动与物理交互预测的推理基准，并开发LLM驱动的评估方法；提出多轮互动与自我反思的定制化学习，将推理能力传授给小模型；探索基于图像与指令的显式推理及主动提问系统；发现LLMs在归纳逻辑编程上弱于神经程序归纳系统；提出基于图的验证方法提升推理；针对逻辑推理缺陷提出训练策略与数据集。
延伸解读
评估重点转向中间推理步骤
文章指出，传统评估可能只关注最终答案，而该研究手动构建的基准数据集专门评估中间推理步骤，以更准确地测量多模态大语言模型的推理能力。这提示读者，仅看模型输出结果可能掩盖推理过程的缺陷，关注中间步骤有助于发现模型在复杂任务中是否真正进行了有效推理。
预测推理成为独立评估维度
文章将预测推理视为尚未充分探索的能力，并构建了覆盖抽象模式、人类活动和物理交互三个领域的基准。这意味着评估多模态模型时，不能只考察感知和解释，还需测试其基于多模态上下文预测未来的能力。该基准提供了标准化框架，有助于比较不同模型在长序列多模态输入上的推理表现。
大模型在归纳逻辑编程上未必占优
文章通过深入评估发现，最新大型语言模型在归纳逻辑编程基准上，无论使用自然语言提示还是真值矩阵提示，其性能和泛化能力均低于规模较小的神经程序归纳系统。这一结果提醒读者，模型规模大并不等同于推理能力强，在特定逻辑编程任务上，专用系统可能更具优势，评估时需结合任务类型判断。
推理能力可通过定制化学习传递
文章提出通过多轮互动学习范式和自我反思学习，将推理能力传授给较小的语言模型，以促进推理能力的开放和普及。这表明推理能力不必然依赖超大模型，定制化训练策略可能帮助小模型获得类似能力。同时，文章还提出基于图的验证方法提升推理，以及针对逻辑推理缺陷的训练策略和数据集，为改进模型推理提供了多条路径。
Q&A
多模态大语言模型在抽象推理任务上的表现如何？
研究发现，多模态大语言模型在抽象推理任务上的表现非常有限，相比其他自然语言处理任务明显较差。
有哪些基准用于评估多模态大语言模型的推理能力？
文章提到了多个基准：一个通过评估中间推理步骤来测量推理能力的基准；一个针对抽象模式推理、人类活动预测和物理交互预测的预测推理基准；以及一个用于评估自然语言处理中抽象推理任务的新基准。
如何将推理能力传授给较小的语言模型？
通过多轮互动学习范式和自我反思学习，提出了一种定制化学习方法，从而将推理能力传授给较小的语言模型。
大型语言模型在归纳逻辑编程上的表现如何？
与模型规模较小的神经程序归纳系统相比，最新的大型语言模型在推理能力方面表现较差，无论是使用自然语言提示还是真值矩阵提示，它们在性能和泛化方面都表现较低。
如何提升大型语言模型的推理能力？
文章提出了多种方法：基于图的验证方法，通过分析和验证LLMs生成的解决方案来增强推理能力；以及针对逻辑推理缺陷的训练策略和数据集（LMM-LR），赋予模型逻辑推理能力。
多模态大语言模型在预测推理方面的能力如何？
多模态大语言模型在预测推理方面的能力尚未得到充分探索。文章引入了一个新基准来评估该能力，实验揭示了当前模型在预测推理任务中的优缺点。
