MiniGPT - 反设计：利用 MiniGPT-4 预测图像调整
原文中文，约400字，阅读约需1分钟。发表于：。通过将视觉 - 语言模型（VLMs）与大型语言模型（LLMs）集成，近期已取得重要进展。本文扩展和优化了 MiniGPT-4 以进行逆向设计任务，并且实验证明了通用的 VLMs（特别是 MiniGPT-4）在复杂任务（如逆向设计）方面的可扩展性。
本论文介绍了MiniGPT4-Video，一种用于视频理解的多模态大型语言模型。该模型能够处理时间视觉和文本数据，从而能够理解视频的复杂性。通过扩展MiniGPT-v2模型的能力，该模型能够处理连续的视频帧序列，使其能够理解视频。MiniGPT4-Video不仅考虑了视觉内容，还结合了文本对话，使得该模型能够有效地回答涉及视觉和文本组成部分的问题。所提出的模型在MSVD、MSRVTT、TGIF和TVQA基准测试上的性能优于现有的最先进方法，分别提升了4.22%、1.13%、20.82%和13.1%。我们的模型和代码在此网址中公开提供。
