量子位
·
超越GPT-4o！阿里发布最强开源多模态模型Qwen2-VL，支持实时视频对话
💡
原文中文，约2200字，阅读约需6分钟。
📝
内容提要
阿里发布开源多模态模型Qwen2-VL，支持实时视频对话、操纵手机和机械臂。Qwen2-VL在图像和长视频理解任务上取得了SOTA，超过GPT-4o等闭源模型。支持多种语言的文本提取和多模态推理。Qwen2-VL在各种任务上表现出综合实力，特别在文档理解方面优势明显。
🎯
关键要点
- 阿里发布开源多模态模型Qwen2-VL，支持实时视频对话和操纵设备。
- Qwen2-VL在图像和长视频理解任务上取得了SOTA，超过GPT-4o等闭源模型。
- 模型提供2B、7B、72B三个版本，2B和7B版本可免费下载商用。
- Qwen2-VL能够操纵机械臂进行物体操作，并能进行复杂的游戏决策。
- 支持多种语言的文本提取，能够识别手写字体和复杂数学公式。
- Qwen2-VL支持对20分钟以上视频的内容分析，但暂不支持声音处理。
- 在多语言测试中，Qwen2-VL在8种语言中超越了多款闭源模型。
- Qwen2-VL采用了新的多模态旋转位置嵌入（M-ROPE）技术，提升了多模态处理能力。
- 模型在视觉能力评估中表现优异，特别是在文档理解方面。
- Qwen2-VL的架构设计确保了输入与图像原始信息的一致性，提升了处理效率。
➡️
