本研究针对现有长期视频理解方法在处理复杂视频数据时性能不足的问题，提出了一种新的框架IQViC，利用上下文和问题适应的视觉压缩技术。该方法通过选择性提取相关信息，显著降低了内存要求，并在长期视频问答方面表现出卓越的准确性和效率。

本文介绍了针对大型语言模型（LLMs）和多模态模型的评估基准，如MMEvalPro、MM-BigBench和LLM-Eval，强调了评估方法的可靠性和适应性。这些基准测试揭示了模型在复杂任务中的性能，推动了未来研究的发展。

该研究提出一种新的架构 DeepStack 用于大型多模态模型（LMMs），通过将视觉令牌分组堆叠到与之对应的转换层以增强 LMMs 的建模能力，并在广泛的实证结果中验证了 DeepStack LMMs 的有效性。

本文提出了一种视频型大型语言模型（Video-LLM）的评估系统，通过基准测试评估其在视频理解和推理任务中的能力，特别关注复杂推理任务。实验结果表明，当前模型在预测推理方面存在不足，评估方法为未来模型的发展提供了标准化框架。

本文探讨了大型语言模型（LLMs）在零样本异常检测和多模态任务中的应用，特别是GPT-4V模型在视觉导航、行人行为预测及社交媒体内容理解方面的潜力。研究表明，LLMs能够有效执行图像分类和机器人控制任务，展现出在多样化场景中的应用前景。

多模态大模型（LMMs）不仅拥有大语言模型（LLMs）的特点，还拓宽了其多感官技能，例如视觉理解，从而实现了更强的通用智能。本文深入探索并分析了最新的 GPT-4V(ision) 模型，旨在加深我们对 LMMs 的认识。我们的分析重点是 GPT-4V 能够完成的各种有趣任务，通过一系列精心设计的测试样本，来检验 GPT-4V...

本文介绍了一种新型多模态大型语言模型Cheetah，通过智能控制知识重新注入模块和无标注跨注意力引导的反事实图像训练策略，在复杂的纷繁视觉语言指令中达到了I4中所有任务的零样本表现的最新水平，并具有竞争力的性能。