NarrativeBridge:以因果时态叙事增强视频字幕
原文中文,约600字,阅读约需2分钟。发表于: 。现有的视频字幕基准和模型缺乏一致的因果 - 时间叙述表示,这是通过因果关系连接的事件序列,随着时间的推移由角色或代理驱动。为了解决这一问题,我们提出了 NarrativeBridge,它包括通过使用大型语言模型和少量提示生成了新颖的因果 - 时间叙述 (CTN) 字幕基准,明确地在视频描述中编码因果效应的时间关系,并通过自动评估来确保字幕的质量和相关性;以及专门的因果效应网络 (CEN)...
研究人员提出了NarrativeBridge,一种新的因果-时间叙述字幕基准和因果效应网络架构,以解决现有视频字幕基准和模型缺乏一致的因果-时间叙述表示的问题。实验结果表明,该框架在表达视频内容的因果和时间方面更准确。