量子位
·
视频理解新标杆，快手多模态推理模型开源：128k上下文+0.1秒级视频定位+跨模态推理
内容提要
快手开源了多模态推理模型Keye-VL 1.5，具备128k上下文、0.1秒视频定位和跨模态推理能力。该模型在视频理解和推理方面表现优异，能够准确判断物品出现的时间并详细描述场景，在多个基准测试中取得领先成绩。
关键要点
-
快手开源了多模态推理模型Keye-VL 1.5，具备128k上下文和0.1秒视频定位能力。
-
Keye-VL 1.5在视频理解和推理方面表现优异，能够准确判断物品出现的时间并详细描述场景。
-
该模型在多个基准测试中取得领先成绩，特别是在Video-MME短视频基准中获得73.0的高分。
-
Keye-VL 1.5采用Slow-Fast双路编码机制，兼顾速度与细节，支持跨模态推理。
-
模型架构为视觉Transformer（ViT）+MLP投影器+语言解码器，增强了视觉特征的语义对齐能力。
-
预训练采用四阶段渐进流水线，强化视觉理解能力并引入长上下文模态数据。
-
Keye团队在多个顶会上发布了多项成果，展示了其在多模态大语言模型研发方面的实力。
-
Keye-VL 1.5的技术正在为短视频内容审核、智能剪辑等业务场景提供底层AI能力。
延伸问答
Keye-VL 1.5模型的主要特点是什么？
Keye-VL 1.5模型具备128k上下文、0.1秒视频定位和跨模态推理能力，表现优异。
Keye-VL 1.5在视频理解方面的表现如何？
该模型能够准确判断物品出现的时间并详细描述场景，在多个基准测试中取得领先成绩。
Keye-VL 1.5是如何实现跨模态推理的？
模型采用Slow-Fast双路编码机制，结合视觉Transformer和语言解码器，增强了视觉特征的语义对齐能力。
Keye-VL 1.5在Benchmark测试中的表现如何？
在Video-MME短视频基准中，Keye-VL 1.5获得73.0的高分，并在多个基准中领跑同级模型。
Keye-VL 1.5的预训练过程是怎样的？
预训练采用四阶段渐进流水线，先进行视觉编码器预训练，再进行跨模态对齐和多任务预训练，最后进行退火训练。
Keye-VL 1.5的应用场景有哪些？
该模型正在为短视频内容审核、智能剪辑等业务场景提供底层AI能力。
