实时互动网
·
ICML 2026 Spotlight｜快手联合中科院软件所提出业界首个隐喻视频理解基准与方法
内容提要
在短视频和社交媒体时代，创作者通过隐喻表达深层意涵。快手与科研机构合作，提出隐喻视频理解基准MetaphorVU，以提升多模态大模型的隐喻理解能力。研究发现现有模型在跨域映射上存在不足，导致理解失败。为此，团队开发了MetaphorBoost，通过隐喻知识图谱增强模型理解能力，取得显著提升。这项研究为多模态理解提供了新的评测标准和增强路径。
关键要点
-
在短视频和社交媒体时代，创作者通过隐喻表达深层意涵，现有多模态大模型在理解隐喻方面存在不足。
-
快手与科研机构合作提出隐喻视频理解基准MetaphorVU，以提升模型的隐喻理解能力。
-
MetaphorVU-Bench是首个系统的隐喻视频理解基准，具备系统化分类、真实视频数据和严格标注。
-
研究发现，现有模型在隐喻理解上与人类存在显著差距，主要原因在于跨域映射能力不足。
-
团队开发了MetaphorBoost，通过隐喻知识图谱增强模型的理解能力，取得显著提升。
-
MetaphorBoost在不同模型上均表现出一致的性能提升，尤其在需要跨域映射的子类上效果明显。
-
这项研究为多模态理解提供了新的评测标准和增强路径，推动了模型从感知智能向认知智能的转变。
延伸解读
隐喻理解的重要性
在短视频和社交媒体的背景下，隐喻成为创作者传达深层意涵的重要工具。理解隐喻不仅需要识别视觉元素，还需将其与抽象概念相联系，这对多模态大模型的认知能力提出了更高要求。
MetaphorVU-Bench的创新
MetaphorVU-Bench作为首个系统性的隐喻视频理解基准，填补了现有评测工具的空白。它通过真实视频数据和严格标注，为模型的隐喻理解能力提供了可靠的评估标准，推动了相关研究的深入。
跨域映射的挑战
研究表明，现有多模态大模型在隐喻理解上与人类存在显著差距，主要原因在于跨域映射能力不足。超过80%的理解失败源于无法正确链接视觉元素与底层概念，这一发现为未来的模型改进指明了方向。
MetaphorBoost的应用前景
MetaphorBoost通过隐喻知识图谱增强模型的理解能力，展现了显著的性能提升。这一方法不仅无需重新训练模型，还为多模态大模型的认知智能发展提供了新的思路，具有广泛的应用潜力。
延伸问答
MetaphorVU是什么？
MetaphorVU是快手与中科院软件所合作提出的隐喻视频理解基准，旨在提升多模态大模型的隐喻理解能力。
现有多模态大模型在隐喻理解方面存在哪些不足？
现有模型在跨域映射能力上存在不足，导致理解隐喻时与人类存在显著差距。
MetaphorBoost是如何增强模型的隐喻理解能力的？
MetaphorBoost通过隐喻知识图谱提供外部认知支持，增强模型在推理阶段的跨域映射能力。
MetaphorVU-Bench的特点是什么？
MetaphorVU-Bench具备系统化分类、真实视频数据和严格标注，是首个隐喻视频理解的系统性基准。
研究发现现有模型在隐喻理解上与人类的差距有多大？
研究显示，最先进的模型平均分约为64分，而人类的上限可达83.4分，差距接近20分。
这项研究对多模态理解的意义是什么？
这项研究扩展了多模态大模型的评测方式，推动了模型从感知智能向认知智能的转变。
