OLViT: 基于注意力嵌入的视频对话多模态状态追踪
原文中文,约500字,阅读约需2分钟。发表于: 。我们提出了 Object Language Video Transformer (OLViT) - 一种新颖的视频对话模型,它在基于多模态注意力的对话状态跟踪器上运行。OLViT 通过维护基于对象状态跟踪器 (OST) 和语言状态跟踪器 (LST)...
Object Language Video Transformer (OLViT)是一种新颖的视频对话模型,解决了视频对话中准确的物体跟踪、空间和时间定位以及长期推理的挑战。它通过结合物体状态跟踪和语言状态跟踪来维护全局对话状态。OLViT非常灵活,可以与大型语言模型(LLM)无缝集成,适用于不同的数据集和任务。在具有挑战性的数据集上的评估结果显示,OLViT实现了最先进的性能。