BriefGPT - AI 论文速递 · 2024-11-20T00:00:00Z

Video Retrieval-Augmented Generation: Visually-Aligned Long Video Comprehension

📝

内容提要

本研究提出了一种视频检索增强生成（Video-RAG）的方法，旨在解决大型视频语言模型在长视频理解中的局限性。通过视觉对齐的辅助文本，Video-RAG显著提升了跨模态对齐效果，减少了对高质量数据和GPU资源的依赖，并在多个基准测试中表现优异。

🏷️

标签

生成模型 视觉对齐 视频检索 跨模态对齐 长视频理解