量子位
·
视频上下文学习！大模型学会“照猫画虎”生成，结合模拟器还能精准控制真实环境交互，来自MSRA
💡
原文中文，约2800字，阅读约需7分钟。
📝
内容提要
微软亚洲研究院（MSRA）的Vid-ICL团队提出了视频上下文学习（Vid-ICL）方法，通过示例视频生成一致任务的大模型。使用Transformer结构和自回归方式训练，实验结果显示Vid-ICL在视频质量和语义一致性方面优于基准模型。该方法可与模拟器结合，实现与真实环境的交互。
🎯
关键要点
- 微软亚洲研究院提出视频上下文学习（Vid-ICL）方法，通过示例视频生成一致任务的大模型。
- Vid-ICL使用Transformer结构和自回归方式训练，实验结果显示在视频质量和语义一致性方面优于基准模型。
- 该方法允许模型在新场景下模仿示例视频中的任务，增强了模型与现实世界的交互能力。
- Vid-ICL框架以视频为基本单元，目标是生成与查询视频在感知上连贯且在语义上与示例视频一致的视频片段。
- 模型具有零样本能力，能够从连续视频片段中自发学习上下文推理能力。
- Vid-ICL可以扩展到其他模态，如文本，通过预训练的语言模型将文本描述转换为潜在表示。
- 研究团队选择Ego4d和Kinetics-600作为主要训练数据源，增加视频内容的多样性。
- 实验结果表明，Vid-ICL在生成视频的质量和语义一致性上均超出基准模型，显示出良好的生成能力。
➡️
