LMMs-Eval: 对大型多模态模型评估的现实检验
内容提要
本文介绍了针对大型语言模型（LLMs）和多模态模型的评估基准，如MMEvalPro、MM-BigBench和LLM-Eval，强调了评估方法的可靠性和适应性。这些基准测试揭示了模型在复杂任务中的性能，推动了未来研究的发展。
延伸解读
评估基准的演进与多样性
从2023年6月的MME到2024年6月的MMEvalPro，多模态模型评估基准在一年内快速迭代。MME首次对10种先进MLLM进行全面评估；MM-BigBench综合评估20个语言模型在14个多模态数据集上的表现；MM-Vet则聚焦复杂多模态任务。这些基准从不同角度推动评估的可靠性，反映了领域对标准化测试的迫切需求。
可信度与评估方法创新
MultiTrust基准通过对21种现代多模态大模型的实验，揭示了此前未开发的可信度问题与风险，强调多模态性引入的复杂性。同时，LLM-Eval提出基于单个提示的多维自动评估方法，可在单次模型调用中覆盖会话质量的多个方面，并指出选择适当LLM和解码策略对准确评估的重要性。这些工作共同指向评估的可靠性与适应性提升。
评估范围向代码与混合基准扩展
LiveCodeBench收集LeetCode、AtCoder和CodeForces的问题，着重评估LLMs在代码生成以外的自修复、代码执行和测试输出预测等能力。MixEval通过混合现有基准测试，匹配网络查询与相似查询，建立有效可靠的LLM评估标准，并构建MixEval-Hard为模型改进提供更大空间。这些尝试扩展了评估的维度和实用性。
Q&A
MMEvalPro基准测试的主要优势是什么？
MMEvalPro基准测试提高了多模态模型在视觉问题中的评估可靠性，具有挑战性和可信性。
MM-BigBench框架评估了多少个语言模型？
MM-BigBench框架综合评估了20个语言模型。
MultiTrust基准揭示了什么问题？
MultiTrust基准揭示了多模态大型语言模型的可信度问题，强调了提升可靠性的必要性。
LLM-Eval的主要功能是什么？
LLM-Eval提供了一种统一的多维自动评估方法，强调选择适当的LLM和解码策略的重要性。
MixEval是如何建立LLM评估标准的？
MixEval通过混合现有基准测试建立了有效的LLM评估标准，提供了模型改进的空间。
LiveCodeBench系统评估了哪些能力？
LiveCodeBench系统评估了LLMs在代码生成以外的自修复、代码执行和测试输出预测等能力。
