量子位
·
视觉模型底座超越OpenAI，格灵深瞳开启多模态落地的Scaling Law
💡
原文中文，约4100字，阅读约需10分钟。
📝
内容提要
中国公司格灵深瞳通过多模态大模型在银行安防、城市管理、商业零售和体育教育等领域取得成功。他们的视觉大模型Unicom v2在多个数据集上表现优于OpenAI的CLIP和Meta的DINOv2。多模态大模型的优势在于解决复杂场景和长尾问题。格灵深瞳采用弱监督学习方法，通过特征聚类和软标签分配来扩大视觉大模型的数据规模。他们还在尝试使用基于RNN的序列建模方法RWKV替代ViT架构，以降低计算复杂度。格灵深瞳认为，多模态大模型的应用需要深耕行业和掌握行业场景。
🎯
关键要点
- 格灵深瞳在银行安防、城市管理、商业零售和体育教育等领域取得成功。
- 其视觉大模型Unicom v2在多个数据集上表现优于OpenAI的CLIP和Meta的DINOv2。
- 多模态大模型的优势在于解决复杂场景和长尾问题。
- 格灵深瞳采用弱监督学习方法，通过特征聚类和软标签分配来扩大数据规模。
- 他们尝试使用基于RNN的RWKV序列建模方法替代ViT架构，以降低计算复杂度。
- 多模态大模型的应用需要深耕行业和掌握行业场景。
- 格灵深瞳的自研视觉大模型Unicom系列推动了视觉AI的转变。
- 多模态大模型在传统视觉AI中带来了新的应用可能性。
- 弱监督学习方法为无标签数据注入了丰富的语义信息。
- RWKV-CLIP模型降低了推理时的计算复杂度，有望在更多设备上应用。
- 视觉AI公司需深度融合行业场景，才能有效应用多模态技术。
- 格灵深瞳在智慧金融和城市治理等领域积累了丰富的行业经验和知识。
➡️
