TRACE：因果事件建模助力视频理解大模型的时间定位能力

TRACE技术通过因果事件建模提升视频理解能力，解决传统视频检索效率低的问题。

TRACE将视频结构化为时间戳、显著性分数和文本描述，显著提高了时序理解与定位精度。

传统视频检索方法效率低下，缺乏泛化能力，现有多模态大模型效果仍不理想。

TRACE技术通过事件级别的因果建模，突破了传统方法的局限。

TRACE方法将视频理解大模型的输出拆解为三元事件单元，实现因果事件建模。

为时间和分数设计了专用tokenizer，提升了模型对时间戳和显著性分数的理解。

TRACE在zero-shot任务中表现优异，超越其他通用视频LLM。

消融实验验证了因果事件建模和独立编解码器的有效性，模型效果随采样帧数增加而提升。

TRACE在finetune后在Youcook2数据集上取得了SOTA效果，优于其他模型。

TRACE为AI理解视频提供了一种新的可能，通过逻辑推演而非简单描述。