MLLM 作为评判者：以视觉 - 语言基准评估多模态 MLLM
内容提要
本文综述了多模态大语言模型（MLLM）的评估进展，涵盖LLM作为评价者、MLLM-Bench、MME、SEED-Bench-2、MM-BigBench、LAMM、Auto-Bench等基准，评估感知、推理、预测等能力，并指出开源模型与GPT-4V存在显著差距。
延伸解读
评估方法：从客观答案到主观判断
文章指出，现有MLLM自动评估多依赖有标准答案的客观查询，难以应对创造性、联想性任务的主观性。为此，研究引入LLM作为评价者，并证明其评估结果能与人类偏好保持一致。这提示读者，在评估多模态模型时，除了传统准确率指标，还需关注基于主观判断的评估方法，以更全面反映模型在开放场景中的表现。
基准全景：覆盖能力与设计思路
文章综述了多个MLLM评估基准，包括MLLM-Bench、MME、SEED-Bench-2、MM-BigBench、LAMM和Auto-Bench等。这些基准覆盖感知、理解、应用、分析、评估、创作、伦理以及预测推理等能力。其中MLLM-Bench受Vicuna启发，旨在更准确反映用户体验；MME对10种先进模型进行了全面评估；SEED-Bench-2则评估了23个开源模型。这些基准从不同角度推动评估体系完善。
开源与GPT-4V的差距及启示
对比评估结果显示，现有开源模型与GPT-4V之间存在显著性能差距。这一发现表明，尽管开源社区在多模态模型开发上取得进展，但在满足广泛实际应用需求方面仍有提升空间。文章认为，MLLM-Bench等基准将推动开源社区开发更用户导向的视觉语言模型。读者可关注这一差距背后的原因，如训练数据、模型规模或评估任务难度等。
评估挑战与未来方向
文章提到，评估MLLM面临重大挑战，尤其是缺乏确定性答案的任务具有主观性。此外，预测推理能力尚未被充分探索，为此有研究引入了针对抽象模式推理、人类活动预测和物理交互预测的新基准。这些工作为MLLM提供了标准化评估框架，并促进开发能在复杂长序列多模态输入上进行推理和预测的模型。未来评估将更注重主观性与推理能力的结合。
Q&A
MLLM-Bench 是什么？它有什么特点？
MLLM-Bench 是一个受 Vicuna 启发的创新基准，用于评估多模态大语言模型。它涵盖感知、理解、应用、分析、评估和创作等多种场景，并考虑伦理因素，旨在更准确地反映用户体验，提供更全面的模型性能评估。
目前开源多模态大语言模型与 GPT-4V 相比表现如何？
对比评估结果表明，现有的开源模型和 GPT-4V 之间存在显著的性能差距。
有哪些用于评估多模态大语言模型的基准测试？
文章提到的基准测试包括：MLLM-Bench、MME、SEED-Bench-2、MM-BigBench、LAMM、Auto-Bench 等。
SEED-Bench-2 基准测试的目的是什么？
SEED-Bench-2 是一个综合评估多模态大型语言模型能力的基准测试，通过对 23 个主要开源多模态大型语言模型的性能评估，揭示了现有模型的局限性。
MM-BigBench 评估框架是如何工作的？
MM-BigBench 是一个全面的评估框架，综合评估了 20 个语言模型（包括 14 个多模态大型语言模型）在 14 个多模态数据集上的性能，并通过引入新的指标，评估不同模型和指令之间的性能以及适应性。
LAMM 数据集和基准有什么作用？
LAMM 数据集和基准将大型语言模型（MLLM）扩展到处理点云，为 MLLM 建立了可扩展的框架，以适用于额外的模态、任务和领域。
