OVEL：作为在线视频实体链接的大型语言模型的内存管理器
内容提要
本文综述多模态实体链接研究，涵盖Twitter数据集构建、文本与视觉联合表征、跨模态生成式链接、纯视觉实体链接、记忆增强嵌入、双向增强框架、属性感知方法及时间演变实体链接，强调视觉与属性信息的重要性，并探讨视频大模型统一评估。
延伸解读
多模态实体链接的演进脉络
文章按时间顺序梳理了多模态实体链接的发展：从2021年构建Twitter数据集并联合学习文本与视觉表征，到2023年基于自然语言生成的跨模态方法，再到2022年纯视觉实体链接任务（VNEL）的提出。这些工作共同表明，视觉信息在实体链接中扮演着越来越重要的角色，且任务形式正从文本主导转向多模态融合。
记忆增强与双向增强的技术思路
为提升跨模态检索与链接效果，研究者提出了记忆增强嵌入学习（MEEL）和双向增强框架（DWE）。MEEL通过交叉模态和文本中心两种记忆模块解决局部负样本与描述多样性问题；DWE则利用神经文本匹配和维基百科描述来弥合多模态信息与知识图谱实体间的语义差异。这些方法为处理多模态数据提供了可借鉴的架构。
属性信息与时间演变的挑战
属性感知的多模态实体链接（AMELI）利用文本、图片和属性值，在大型评论和产品数据集上验证了属性信息的重要性。同时，TempEL数据集揭示了时间演变对实体链接的影响：持续存在的实体精度下降3.1%，而新实体下降高达17.9%。这表明实体链接系统需关注属性融合与时间动态性。
统一评估与语言无关系统的进展
针对视频大模型，文章介绍了一个统一的评估方法，涵盖字幕、问答、检索和行动识别等任务，并显示基于GPT的评估可与人类表现相当。此外，LIEL系统通过区分重排框架和语言无关特征，在英语和西班牙语上均表现良好。这些进展为多模态实体链接的评估和跨语言应用提供了新思路。
Q&A
多模态实体链接中，视觉信息有什么作用？
视觉信息在实体链接中很重要，当可用时，利用视觉信息能提升实体链接的效果。
纯视觉命名实体链接（VNEL）任务是什么？
VNEL 是仅基于图像识别出图像中的实体，并将其链接到知识库中对应命名实体的任务。它包含 V2VEL、V2TEL 和 V2VTEL 三个子任务，针对不同类型实体采取不同处理方式，并使用 WIKIPerson 数据集建立基础算法模型。
记忆增强嵌入学习（MEEL）方法解决了什么问题？
MEEL 方法构建了交叉模态记忆模块和文本中心记忆模块，用于跨模态视频文本检索任务，解决了局部负样本和文本描述多样性的问题。在 MSR-VTT 和 VATEX 数据集上实验表明有效。
属性感知的多模态实体链接技术有什么特点？
该技术利用多模态知识库中每个实体的文本描述、图片和属性值，结合包含 18,472 个评论和 35,598 个产品的大型数据集 AMELI，揭示了属性信息在实体链接过程中的重要性，并建立了基准数据集和解决方案。
时间演变实体链接（TempEL）数据集发现了什么挑战？
TempEL 数据集量化了当前最先进 EL 模型在知识库描述和提及环境发生时间变化的实体上的性能，发现不断存在的实体在 EL 精度方面下降了 3.1%，而新实体的下降高达 17.9%，强调了时间演变实体消歧的挑战。
视频大模型统一评估方法包括哪些任务？
统一评估方法包括字幕、问答、检索和行动识别等多个视频任务，展示了基于 GPT 的评估方法在多个方面可以与人类一样表现，并提出了基准方法 Video-LLaVA，在评估视频 LLMs 时优于现有方法。
