本文综述大视觉语言模型评估方法，包括以强模型作评判者构建视觉对话数据集，实现多模态对话质量的自动评估；考察LLM生成与识别复杂视觉概念的能力，并用于训练视觉表示学习；提出评估图文对齐及微调扩散模型提升对齐；回顾视觉识别任务与预训练方法；介绍LOVM、Auto-Bench、VaLM、LVLM-eHub、ReForm-Eval、MERLIM等基准；发现模型在精细视觉概念识别、对象幻觉和视觉grounding方面仍存不足。

大视觉语言模型（LVLMs）通过视觉识别和语言理解相结合，生成连贯且与上下文相关的内容。本文介绍了一种名为Visual Contrastive Decoding（VCD）的方法，通过对比原始和失真的视觉输入产生的输出分布，降低物体幻觉问题的影响，确保生成的内容与视觉输入密切相关。实验证明，VCD在不同的LVLM族群中减轻了物体幻觉问题，并在通用LVLM基准测试中表现出色。

本文提出了一种评估大视觉语言模型能力的方法，使用大语言模型作为评判者，构建综合的触石视觉对话数据集和整合图像注释，实现对多模态对话质量的直接评估，为大视觉语言模型的评估提供参考。

我们提出了一种使用大视觉语言模型评估多模态对话质量的方法。通过构建综合的视觉对话数据集和图像注释，我们能够直接评估大视觉语言模型的能力，为其评估提供参考。