视频上下文学习！大模型学会“照猫画虎”生成，结合模拟器还能精准控制真实环境交互，来自MSRA
内容提要
微软亚洲研究院（MSRA）的Vid-ICL团队提出了视频上下文学习（Vid-ICL）方法，通过示例视频生成一致任务的大模型。使用Transformer结构和自回归方式训练，实验结果显示Vid-ICL在视频质量和语义一致性方面优于基准模型。该方法可与模拟器结合，实现与真实环境的交互。
延伸解读
视频作为新交互接口的意义
现有工作多聚焦文本交互，难以控制生成细节和多样性。Vid-ICL以视频为示例，提供语言和图像之外的新接口，使模型能模仿镜头移动、物体抓取等任务，增强与现实世界交互的多样性。
零样本上下文推理的机制
模型能从连续视频片段中自发学习上下文推理，无需显式示例格式。原因在于训练时未插入分隔符，使模型隐式处理示例-查询结构，且Transformer自回归特性将文本上下文学习范式泛化到视频。
数据选择与规模限制
Vid-ICL要求训练数据因果关系清晰、交互性强，因此选用Ego4d和Kinetics-600，并加入少量Webvid增加多样性。但简单增加互联网视频不能提升上下文性能，因其语义模糊发散。
评估方法与性能表现
研究通过同一查询视频配不同语义示例来评估。定性上生成视频保持连贯且跟随示例语义；定量上采用PSNR、FID等视频质量指标和分类准确率等语义一致性指标，Vid-ICL均优于基准模型。
Q&A
什么是视频上下文学习（Vid-ICL）？
视频上下文学习（Vid-ICL）是一种通过示例视频指导大模型生成一致任务的视频生成方法。
Vid-ICL如何提高视频生成的质量和语义一致性？
Vid-ICL使用Transformer结构和自回归方式训练，实验表明其在视频质量和语义一致性方面优于基准模型。
Vid-ICL的零样本能力是什么？
Vid-ICL的零样本能力指模型能够从连续视频片段中自发学习上下文推理，而无需显式的上下文信息。
Vid-ICL如何与模拟器结合实现真实环境交互？
Vid-ICL可以与模拟器结合，通过生成视频和当前状态预测与环境的交互动作，从而实现精确控制。
Vid-ICL的训练数据来源是什么？
Vid-ICL主要使用Ego4d和Kinetics-600数据集，同时也加入了一小部分Webvid数据以增加视频内容的多样性。
Vid-ICL的实验结果如何？
实验结果显示，Vid-ICL在生成视频的质量和语义一致性上均超出基准模型，表现出良好的生成能力。
