DEV Community
·
人工智能仍然无法计数。我创建了一个数据集来证明这一点：VisQuant
内容提要
作者测试了GPT-4V、Claude和Gemini，发现它们在艺术描述和解谜方面表现良好，但在简单视觉问题上表现不佳。为此，他创建了VisQuant基准，专注于评估模型的视觉智能，包括计数和空间关系。VisQuant使用100张合成图像，旨在揭示模型推理中的缺陷。
关键要点
-
作者测试了GPT-4V、Claude和Gemini，发现它们在艺术描述和解谜方面表现良好。
-
在简单视觉问题上，这些模型表现不佳，例如计数和空间关系。
-
为此，作者创建了VisQuant基准，专注于评估模型的视觉智能。
-
VisQuant使用100张合成图像，涵盖40多种日常物体类型，标注了物体计数和空间布局。
-
每张图像有2个推理问答对，注释以JSON和CSV格式提供。
-
VisQuant旨在隔离模型常常忽视的视觉智能原理，包括计数和空间关系推理。
-
当前的基准如VQAv2或GQA存在杂乱和噪声，掩盖了模型的弱点。
-
VisQuant小巧、干净、专注，能够揭示模型推理中的真实缺陷。
-
数据集可在HuggingFace上获取，论文即将发布，许可证为CC BY 4.0，适用于研究和微调。
-
作者希望获得反馈、合作、其他基准的建议以及v2的想法。
延伸解读
视觉智能的局限性
尽管当前的人工智能模型在艺术描述和解谜方面表现出色，但在处理简单的视觉问题时却显得力不从心。作者通过VisQuant基准揭示了这些模型在计数和空间关系推理上的缺陷，这表明在实际应用中，模型的视觉智能仍需进一步提升。
VisQuant基准的创新
VisQuant基准的设计旨在专注于模型常常忽视的视觉智能原理，使用干净且小巧的数据集来测试模型的推理能力。这种方法有助于更准确地识别和分析模型的弱点，为未来的研究提供了重要的参考。
数据集的开放性与合作机会
VisQuant数据集以CC BY 4.0许可证开放，允许研究人员自由使用和微调。这种开放性不仅促进了学术交流，也为希望改进视觉智能的研究者提供了合作的机会，鼓励更多的反馈和建议。
延伸问答
VisQuant是什么？
VisQuant是一个基准数据集，专注于评估模型的视觉智能，特别是计数和空间关系。
VisQuant使用了什么样的图像？
VisQuant使用100张合成图像，涵盖40多种日常物体类型，并标注了物体计数和空间布局。
为什么需要VisQuant基准？
因为现有的基准如VQAv2或GQA存在杂乱和噪声，掩盖了模型在视觉智能方面的弱点。
VisQuant如何评估模型的视觉智能？
VisQuant通过隔离模型常常忽视的视觉智能原理，如计数和空间关系推理，来评估模型的表现。
VisQuant的数据集在哪里可以获取？
VisQuant的数据集可以在HuggingFace上获取，许可证为CC BY 4.0，适用于研究和微调。
作者对VisQuant的未来有什么期望？
作者希望获得反馈、合作、其他基准的建议以及VisQuant v2的想法。
