EncQA:基于图表视觉编码的视觉语言模型基准测试

EncQA:基于图表视觉编码的视觉语言模型基准测试

Apple Machine Learning Research Apple Machine Learning Research ·

多模态视觉语言模型(VLMs)在图表理解基准上取得了一定进展,但未能全面反映其视觉推理能力。我们提出了EncQA基准,涵盖视觉编码和分析任务,提供2076对合成问答,评估了9个VLM的表现,发现不同编码和任务间的性能差异显著,且模型规模的增大并未显著提升许多任务的表现。

原文英文,约200词,阅读约需1分钟。
阅读原文