WinoViz：在不同状态下探索物体的视觉属性
内容提要
该文汇总多项研究，探讨视觉-语言模型的物理与常识知识。研究发现模型在颜色、大小、空间等方面与人类差距明显，多模态模型优于单模态但存在报告偏差，数据比模型规模更关键。研究还提出Winoground、概念理解基准等评估方法，并探索视觉知识迁移与视觉推理诊断。
延伸解读
视觉-语言模型的物理常识短板
文章汇总的多项研究一致指出，视觉-语言模型在物体颜色、大小和空间关系等“可见”物理知识上，与人类表现存在明显差距。例如，在颜色、大小和空间三个方面的评估中，模型均未达到人类水平。这表明，尽管模型在通用视觉任务上进展迅速，但在需要细粒度物理常识的场景中仍不可靠。读者需注意，此类短板可能影响依赖物理常识的下游应用，如机器人操作或视觉问答。
多模态优势与报告偏差
研究发现，多模态模型在重构视觉属性分布上优于单模态模型，但存在报告偏差问题，即模型可能倾向于报告某些常见属性而忽略其他。同时，单纯增加模型大小并不能提升视觉常识性能，关键在于数据质量与多样性。这提示研究者和开发者，在提升模型视觉常识时，应优先关注数据层面的改进，而非盲目扩大模型规模。
评估基准与诊断方法
文章介绍了多个评估视觉-语言模型能力的基准，如Winoground用于测试视觉-语言组合推理，概念理解基准检测关系、组合和上下文理解，以及基于GQA的视觉推理诊断方法。这些工具帮助揭示模型在概念理解、组合推理等方面的不足。例如，多数流行模型难以展示概念理解，而交叉注意力机制有助于学习概念理解。读者可借助这些基准更系统地评估模型能力。
视觉知识迁移的潜力与局限
研究探索了将视觉知识整合到语言模型中以填补文本缺失的物体属性信息，发现视觉知识传递在低资源和完全监督设置下均能提升下游任务性能。然而，语言模型本身已具备检索正确对象类别的强信号，但在实例检索方面仍逊于人类。这表明视觉知识迁移有效，但模型在细粒度实例区分上仍有局限，未来需进一步理解和改善语言模型的视觉能力。
Q&A
视觉-语言模型在物理常识方面与人类有哪些差距？
研究发现，视觉-语言模型在物体颜色、大小和空间三个方面的表现与人类存在明显差距。
多模态模型在视觉常识任务上比单模态模型更好吗？
是的，多模态模型在属性分布重构中优于单模态模型，但仍然存在报告偏差问题。
增加模型大小能提升视觉常识性能吗？
不能，适当增加模型大小并不能提高视觉常识的性能，关键在于数据。
Winoground是什么？它用来评估什么？
Winoground是一个新的任务和数据集，用于评估视觉和语言模型进行视觉-语言组成推理的能力，并展示了目前最先进的模型在该任务上表现不尽如人意。
如何将视觉知识整合到语言模型中？
研究探索了将视觉知识整合到语言模型中以填补文本信息中缺失的相关性和物体属性信息，视觉知识传递可以在低资源和完全监督设置下有效提高预训练语言模型在需要视觉知识的下游任务中的性能。
视觉推理诊断方法有哪些？
研究提出了一种系统性的目标中心的视觉推理诊断方法，并开发了一个名为图形推理机的诊断模型，该模型使用概率场景图替代纯符号视觉表示，并对视觉推理模块进行了教师强制训练。
