量子位
·
Ilya刚预言完，世界首个原生多模态架构NEO就来了：视觉和语言彻底被焊死
💡
原文中文，约4300字，阅读约需11分钟。
📝
内容提要
中国团队推出了原生多模态架构NEO，突破了传统模型的局限。NEO仅用十分之一的数据，在多项评测中超越现有顶级模型，展现出高效的视觉与语言融合能力，推动多模态AI的发展。
🎯
关键要点
- 中国团队推出了原生多模态架构NEO，突破了传统模型的局限。
- NEO仅用十分之一的数据，在多项评测中超越现有顶级模型。
- NEO的架构设计实现了视觉与语言的深度融合。
- 传统多模态模型存在效率、能力和融合三大鸿沟。
- NEO采用原生图块嵌入、原生三维旋转位置编码和原生多头注意力三大核心技术。
- NEO在实测中仅使用3.9亿个图像文本对进行训练，表现优于其他顶级模型。
- NEO的设计为多模态AI的演进指明了新路径，支持任意分辨率图像和复杂推理。
- 商汤已开源基于NEO架构的模型，推动开源社区向原生架构迁移。
- NEO降低了多模态模型的训练与部署门槛，使其适用于更多终端设备。
- NEO的出现为AI界提供了新范式，强调架构创新重于规模堆砌。
➡️
