Kiki 的外观是什么？视觉语言模型中语音和视觉形状之间的跨模态关联
内容提要
本研究探讨了视觉与语言的交叉模态关联，发现视觉知识能有效提升语言模型在视觉任务中的表现。通过多模态模型，研究了视觉-语言概念系统及其在视频识别中的应用，并提出了基于知识图谱的视觉语言学习模型，以解决知识缺失问题。
延伸解读
跨模态关联的实证支持
文章通过计算工具证实了视觉与语言之间存在类似kiki-bouba效应的交叉模态关联，即声音象征与视觉形状有内在联系。这为多模态模型利用视觉知识增强语言理解提供了认知基础，也解释了为何视觉语言模型在形状偏好上强于纯视觉模型。
视觉知识填补文本缺失
研究发现，将视觉知识整合到语言模型中可以填补文本信息中缺失的相关性和物体属性信息，并在低资源和完全监督设置下均能提升下游任务性能。这表明跨模态信息整合具有实用价值，尤其适用于文本描述不完整的场景。
BIKE框架提升视频识别
BIKE框架通过视频和文本之间的跨模态桥梁，利用视频自动补充文本属性，并通过文本确定时间显著位置，从而增强视频表示。在六个流行视频数据集上，该方法在各种识别方案中均达到最先进性能，展示了跨模态桥梁在视频理解中的有效性。
跨模态整合的不对称性
对预训练视觉和语言BERT的研究发现，这些模型在处理缺失视觉信息时比处理缺失文本信息时表现更差，表明跨模态信息整合存在不对称性。这提示未来模型设计需关注视觉信息缺失的鲁棒性，以平衡不同模态的贡献。
Q&A
Kiki-bouba 效应是什么？
Kiki-bouba 效应是指人们在声音和形状之间建立联想的现象，表明视觉与语言之间存在交叉模态关联。
如何提高语言模型在视觉任务中的表现？
通过整合视觉知识，可以填补文本信息中的缺失，从而有效提高语言模型在视觉任务中的表现。
BIKE框架的主要功能是什么？
BIKE框架通过视频和文本的跨模态桥梁，增强视频识别性能，自动补充文字辅助属性。
视觉语言模型与纯视觉模型有什么区别？
视觉语言模型（VLMs）比纯视觉模型更倾向于形状偏好，并且可以通过语言提示引导形状偏好的变化。
研究中如何解决知识缺失问题？
研究提出了一种基于知识图谱的视觉语言学习模型，以解决知识缺失问题。
预训练的视觉和语言模型在处理缺失信息时表现如何？
预训练的视觉和语言 BERT 模型在处理缺失视觉信息时表现较差，显示出跨模态信息整合的不对称性。
