MMUTF: 统一模板填充的多模态多媒体事件论元抽取
内容提要
本文介绍了一种新的视频多媒体事件提取（M2E2）任务及其系统，能够从视频和文本中提取结构化事件信息。研究提出了WASE和CAMEL等创新方法，利用弱监督训练和多模态数据，提升事件提取效果，并建立了相关基准数据集。实验结果表明，该方法在多模态信息提取任务中表现优异。
延伸解读
多模态事件抽取的任务定义与基准
文章将视频多媒体事件抽取（Video M2E2）定义为从视频和文本中提取结构化事件信息的新任务，并计划发布包含860对视频-文章对的基准数据集。这为后续研究提供了统一的评测平台，有助于推动多模态事件抽取的发展。
弱监督与跨模态增强方法
WASE通过弱监督训练将文本和视觉语义编码到共同嵌入空间，CAMEL则利用人工生成的多模态训练数据。两者都旨在解决多模态数据标注不足的问题，并在多媒体事件提取上取得优于现有方法的效果。
多模态问答框架的通用性
MQA框架将多模态信息提取统一为片段提取和多项选择问答流水线，提升了现成大型多模态模型在零样本和少样本场景下的性能。在10B参数规模上，其表现可与ChatGPT、GPT-4等更大语言模型竞争或超越，展示了作为通用原则的潜力。
跨语言与多事件抽取的进展
MEE数据集涵盖8种语言、5万余个实体提及和事件参数，揭示了多语言事件抽取的挑战与机遇。JMEE和DEEIA等框架能同时抽取多个事件触发器和参数，在多个公共数据集上达到领先性能，并显著节省推理时间。
Q&A
什么是视频多媒体事件提取（M2E2）任务？
视频多媒体事件提取（M2E2）任务旨在从视频和文本中提取结构化事件信息。
WASE方法是如何提升事件提取效果的？
WASE方法通过弱监督训练将文本和视觉数据的语义信息编码到共同的嵌入空间中，从而提升事件提取效果。
CAMEL方法的主要特点是什么？
CAMEL方法使用人工生成的多模态训练数据，在多媒体事件提取方面实现了领先水平。
MEE数据集包含哪些内容？
MEE数据集包含50000多个实体提及、事件触发和事件参数，涵盖8种不同语言类型。
多模态问答（MQA）框架的作用是什么？
MQA框架将多模态信息提取任务统一为片段提取和多项选择问答流水线，提高了任务性能，尤其在零样本和少样本情况下。
JMEE框架的优势是什么？
JMEE框架能够同时提取多个事件触发器和参数，具有竞争力，采用语法快捷弧增强信息流和基于注意力机制的图卷积网络建模。
