GPT-4V (ision) 是文本生成三维图像的人类对齐评估器
内容提要
该文综述GPT-4V在多模态任务中的评估：在英语视觉基准上表现优异，但识别简单中文文本困难；医学图像任务中，放射报告生成有潜力，但准确性和评估指标有限；工程设计任务显示其处理复杂设计的能力与局限；与Gemini的对比揭示挑战性问题。研究还提出视觉描述提示等方法，并指出自动评估指标质量不足，需发展更语义鲁棒的评估方法。
延伸解读
评估指标本身的可靠性问题
文章指出，在医学图像任务中，常规评估指标如BLEU分数存在局限，CIDEr等指标也需改进；另一项混合评估发现，人工评估员认为黄金参考指标比最佳模型输出差得多，表明许多流行基准的质量较低。这意味着，用这些指标衡量GPT-4V等模型时，得分低不一定代表模型差，可能是指标本身不够语义鲁棒。读者在解读模型评估结果时，需关注指标是否与人类判断一致。
多模态能力的不均衡表现
GPT-4V在英语视觉基准上表现出色，却无法识别图像中的简单中文文本；在医学视觉问答中能区分问题类型，但准确性不及现有基准；在视觉基础任务中能初步识别边界框，但精度不足以定位特定医学器官和病症。这些对比说明，模型能力在不同语言、任务和精度要求下差异明显，不能因某一基准的高分而推断其通用可靠。
提示方法对性能的调节作用
文章提到，通过少样本提示可以提高GPT-4V在敏感特征问题、语言理解任务和类似图片差异解决方面的性能；在放射报告生成中，良好结构提示能引导出描述性报告的潜力；研究还提出“Vision Description Prompting”方法，有效提升挑战性视觉任务的表现。这表明，模型输出质量受提示设计影响较大，实际使用时需针对任务调整提示策略。
医学应用需针对性改进
评估显示，GPT-4V在胸部X射线报告生成上有潜力，但在MIMIC-CXR基准的CIDEr等指标上仍需改进；医学问答准确性不足；视觉基础精度不够。文章强调，需要针对性的改进才能充分发挥其能力。同时，另一项结果指出，图像添加可能降低模型准确性。因此，将GPT-4V用于医学场景时，应谨慎看待其当前能力边界，不宜直接替代专业判断。
Q&A
GPT-4V在英语视觉基准和中文文本识别上的表现有什么差异？
GPT-4V在英语视觉基准上表现出色，但无法识别图像中的简单中文文本。
GPT-4V在医学图像任务中的表现如何？
GPT-4V在放射学报告生成方面有潜力，尤其在良好结构提示引导下；但在医学视觉问答中准确性不及现有基准，在视觉基础中识别边界框的精度不够，特别是在识别特定医学器官和病症方面。
GPT-4V在工程设计任务中能处理哪些方面？有哪些局限？
GPT-4V被评估于概念设计、系统级和详细设计、制造和检验以及工程教育四个领域，展现了处理复杂设计和制造挑战的能力，但在复杂工程设计应用中存在局限性。
什么是Vision Description Prompting方法？它有什么作用？
Vision Description Prompting是一种通过详细分析多模态机制后引入的方法，能有效提高具有挑战性的视觉相关任务的性能。
现有自动评估指标（如BLEU、CIDEr）在评估生成模型时存在哪些问题？
研究发现常规评估指标（如BLEU分数）有局限性，自动评估指标质量不足，得分远低于人工评估，且黄金参考指标质量较低，因此倡导发展更语义鲁棒的评估方法。
GPT-4V与Gemini在视觉问答任务上的对比评估发现了什么？
利用VQAonline数据集对GPT-4V和Gemini进行零样本性能评估，通过生成约2000个视觉问题的七种元数据，分析了两模型的表现并确定了最具挑战性的问题。
