NPHardEval4V: 多模态大型语言模型的动态推理基准
内容提要
本文综述了多个评估大语言模型推理能力的基准：NPHardEval通过算法问题测试复杂推理并防止过拟合；多模态基准评估预测推理、顺序图像推理、数学推理及非语言抽象推理，发现模型存在幻觉且与人类差距较大；元推理评估揭示现有基准的缺陷；多主体环境基准显示GPT-4与Llama-2的差距达三倍。
延伸解读
动态更新机制对抗数据污染
NPHardEval 通过每月更新数据点来减轻 LLMs 过拟合的风险。这一设计针对静态基准的常见缺陷：模型可能在训练中见过测试数据，导致评估结果虚高。动态更新迫使模型展示真正的推理能力，而非记忆。对于关注评估可靠性的读者，这提示了选择基准时需注意其是否具备防过拟合机制。
多模态推理的幻觉与人类差距
多个多模态基准（如 Mementos 和 MATH-V）揭示，当前 MLLMs 在顺序图像推理和数学推理中常出现物体或行为幻觉，且与人类表现存在明显差距。例如，Mementos 发现模型难以准确描述图像序列的动态信息，导致误代。这提醒开发者，多模态模型在复杂推理任务上仍不可靠，需谨慎部署。
元推理评估揭示认知缺陷
元推理评估范式挑战模型对自身推理过程的认知，能有效区分模型间的认知能力。例如，GPT-4 在该基准上的准确率是 GPT-3.5 的十倍，而传统基准如 GSM8K 因饱和度和区分度不足，无法发现这些潜在缺陷。这表明，仅以结果为导向的评估可能掩盖模型在推理能力上的根本问题。
多主体环境中的能力差距
在多主体环境基准中，最强模型 GPT-4 与最弱模型 Llama-2-70B 之间存在三倍的能力差距。该基准利用游戏和博弈论场景，并引入概率图模型增强导航能力，使所有模型平均性能提升 50%。这显示，即使借助增强方法，模型间的基础能力差异依然显著，读者应关注模型在复杂交互场景中的实际表现。
Q&A
NPHardEval 基准的主要目标是什么？
NPHardEval 旨在评估大型语言模型（LLMs）的推理能力，通过比较 LLMs 在复杂类别上的表现，提供客观且严格的评估。它使用 900 个算法问题，从 NP-Hard 复杂类别扩展到较低复杂类别，并通过每月更新数据点来减轻过拟合风险。
多模态大型语言模型在预测推理方面有哪些评估基准？
文章介绍了一个新颖的基准测试，评估多模态大型语言模型在抽象模式推理、人类活动预测和物理交互预测三个领域的预测推理能力，并开发了三种由 LLM 驱动的评估方法。
什么是元推理评估？它如何改进现有基准？
元推理评估是一种新颖的评估范式，挑战 LLMs 进行元推理。它将重点从结果导向转向更综合的评估，能有效区分模型认知能力，例如 GPT-4 比 GPT-3.5 准确率高十倍，并揭示现有基准（如 GSM8K）未能发现的认知缺陷。
Mementos 基准测试评估什么？发现了哪些问题？
Mementos 评估多模态大型语言模型的顺序图像推理能力。研究发现模型在准确描述图像序列的动态信息方面存在困难，经常导致物体及其相关行为的幻觉或误代，并确定了三个关键因素：物体和行为幻觉之间的相关性、共发生行为的影响以及行为幻觉的复合影响。
多模态大型语言模型在数学推理方面表现如何？
通过 MATH-V 数据集评估，发现当前模型在数学推理上与人类表现存在明显差距，强调需要进一步发展多模态大型语言模型。详细分类允许对错误进行全面分析。
多主体环境基准测试如何评估大型语言模型？结果如何？
该基准测试通过游戏和博弈论场景创建不同测试环境，并利用概率图模型方法增强模型导航能力。评估七种 LLMs 发现，最强模型 GPT-4 和最弱模型 Llama-2-70B 之间存在三倍能力差距，概率图模型平均提高所有模型能力 50%。
