本文综述多模态上下文学习（ICL）进展，提出统一多模态生成框架；发现视觉语言模型中ICL主要由文本演示驱动，据此提出MMICES；介绍M²IXT、VICL、CoBSAT基准、MMHQA-ICL、MMICL及SimICL等方法，评估开源LMM缺陷，并总结挑战与方向。

提出了一种利用GPT-4进行多模态上下文学习的新系统MM-Narrator，用于音频描述的生成。该系统通过记忆增强生成过程，能够生成准确的音频描述，即使是超过数小时的长视频。实验结果表明，MM-Narrator在大多数情况下都优于现有的方法，在评估指标下得分更高。同时引入了基于片段的重复文本生成评估器。