量子位
·
视频理解新标杆，快手多模态推理模型开源：128k上下文+0.1秒级视频定位+跨模态推理
💡
原文中文，约4500字，阅读约需11分钟。
📝
内容提要
快手开源了多模态推理模型Keye-VL 1.5，具备128k上下文、0.1秒视频定位和跨模态推理能力。该模型在视频理解和推理方面表现优异，能够准确判断物品出现的时间并详细描述场景，在多个基准测试中取得领先成绩。
🎯
关键要点
- 快手开源了多模态推理模型Keye-VL 1.5，具备128k上下文和0.1秒视频定位能力。
- Keye-VL 1.5在视频理解和推理方面表现优异，能够准确判断物品出现的时间并详细描述场景。
- 该模型在多个基准测试中取得领先成绩，特别是在Video-MME短视频基准中获得73.0的高分。
- Keye-VL 1.5采用Slow-Fast双路编码机制，兼顾速度与细节，支持跨模态推理。
- 模型架构为视觉Transformer（ViT）+MLP投影器+语言解码器，增强了视觉特征的语义对齐能力。
- 预训练采用四阶段渐进流水线，强化视觉理解能力并引入长上下文模态数据。
- Keye团队在多个顶会上发布了多项成果，展示了其在多模态大语言模型研发方面的实力。
- Keye-VL 1.5的技术正在为短视频内容审核、智能剪辑等业务场景提供底层AI能力。
➡️
