INS-MMBench: 保险领域 LVLMs 性能综合评估的全面基准
内容提要
该研究介绍了多个多模态评估基准，如MMT-Bench和MLLM-Bench，旨在评估大规模视觉-语言模型（LVLM）在多模态任务中的能力。研究指出现有模型在视觉理解和内容偏见方面的不足，并提出了改进方案，强调了开发更强大模型的必要性。
延伸解读
现有基准的局限性
文章指出，许多多模态评估基准存在两个主要问题：一是视觉内容对部分样本并非必要，答案可从问题、选项或语言模型的世界知识中推断；二是训练数据可能存在意外泄漏。这导致评估结果可能高估模型的多模态能力，无法真实反映其视觉理解水平。
评估维度的多样化
文章介绍了多个基准，分别关注不同能力：MMT-Bench评估跨领域多模态任务，AVIBench关注对抗性视觉指令的稳健性和内容偏见，MMStar强调视觉不可或缺性，MLLM-Bench则涵盖感知、理解、应用、分析、评估和创作等层次。这些基准共同提供了更全面的评估视角。
模型的实际表现与挑战
研究发现，现有大型视觉语言模型在多个基准上表现不佳，例如在医疗视觉问答中，专用模型甚至不如通用领域模型；在视频理解任务中，模型的时间理解能力有限；同时，模型普遍存在对象幻觉、对查询细微变化敏感以及内容偏见等问题。
对模型开发的启示
文章强调，为了推动多模态智能发展，需要开发更强大、更稳健的模型。这包括提高视觉基础能力、减少偏见和幻觉、增强对对抗性指令的鲁棒性，并设计更准确的评估方法以反映真实用户体验。开源社区与GPT-4V等先进模型之间仍存在显著差距。
Q&A
MMT-Bench的主要目的是什么？
MMT-Bench旨在评估大规模视觉-语言模型（LVLM）在多模态任务上的能力，并促进下一代通用多模态智能基础模型的发展。
现有LVLM在视觉理解方面存在哪些不足？
现有LVLM在视觉理解和内容偏见方面存在不足，尤其是在识别精细视觉概念和处理对象幻觉时表现不佳。
AVIBench框架的作用是什么？
AVIBench框架用于全面评估LVLM对敌对性视觉指令的稳健性和内容偏见，强调提高模型的安全性和公平性。
MMStar基准的主要特点是什么？
MMStar是一个由人工精选的多模态基准，评估LVLM的多模态能力，并调查数据泄漏和实际多模态增益。
MLLM-Bench与其他基准相比有什么创新之处？
MLLM-Bench设计更加准确地反映用户体验，涵盖多种场景，提供对模型性能更全面的评估，特别是在创造性和联想性任务中。
在医疗视觉问答中，现有LVLM的表现如何？
现有大型视觉语言模型在医疗视觉问答问题上表现不佳，甚至在医学专业化模型中也劣于通用领域模型。
