MiniGPT4-Video: 提升多模态 LLM 在视频理解中的能力：交错的视觉 - 文本标记

本论文介绍了MiniGPT4-Video，一种用于视频理解的多模态大型语言模型。该模型能够处理时间视觉和文本数据，从而能够理解视频的复杂性。通过扩展MiniGPT-v2模型的能力，该模型能够处理连续的视频帧序列，使其能够理解视频。MiniGPT4-Video不仅考虑了视觉内容，还结合了文本对话，使得该模型能够有效地回答涉及视觉和文本组成部分的问题。所提出的模型在MSVD、MSRVTT、TGIF和TVQA基准测试上的性能优于现有的最先进方法，分别提升了4.22%、1.13%、20.82%和13.1%。