Object Language Video Transformer (OLViT)是一种新颖的视频对话模型,解决了视频对话中准确的物体跟踪、空间和时间定位以及长期推理的挑战。它通过结合物体状态跟踪和语言状态跟踪来维护全局对话状态。OLViT非常灵活,可以与大型语言模型(LLM)无缝集成,适用于不同的数据集和任务。在具有挑战性的数据集上的评估结果显示,OLViT实现了最先进的性能。
完成下面两步后,将自动完成登录并继续当前操作。