量子位
·
CVPR 2026最热方向，被一家杭州团队率先跑进了端侧！
内容提要
Om AI发布全球首个端侧流式多模态模型VLX，旨在实现持续感知、精准定位和行动决策。VLX包含三款模型：Flow负责实时感知，Seek进行精确定位，Go实现行动。该系统专为物理世界设计，能够在手机、无人机等设备上高效运行，满足实时响应需求。
关键要点
-
Om AI发布全球首个端侧流式多模态模型VLX，旨在实现持续感知、精准定位和行动决策。
-
VLX包含三款模型：Flow负责实时感知，Seek进行精确定位，Go实现行动。
-
VLX的设计专为物理世界而生，能够在手机、无人机等设备上高效运行，满足实时响应需求。
-
流式多模态模型使AI能够在物理世界中持续、实时地感知环境，形成感知、定位和行动的能力链。
-
VLX-Flow采用流式处理，持续更新视觉状态，解决动态环境中的感知问题。
-
VLX-Seek通过生成候选区域来提高精确定位能力，适应真实世界的需求。
-
VLX-Go将环境理解转化为可执行的短时航点，支持机器人实时行动。
-
VLX的端侧设计确保模型在有限算力下稳定运行，满足物理世界的实时需求。
-
Om AI团队致力于让多模态模型从看图说话，走向持续感知、精准定位和真实行动。
延伸解读
端侧流式多模态的优势
VLX的端侧设计使其能够在手机、无人机等设备上高效运行，满足实时响应需求。这种设计不仅减少了对云端计算的依赖，还能在网络不稳定或隐私敏感的场景中保持稳定性，确保模型能够在物理世界中持续感知和快速行动。
技术路线的创新
Om AI选择从一开始就围绕端侧算力约束设计VLX，而不是将云端模型压缩到端侧。这种创新的技术路线使得VLX在处理实时视频流时，能够实现更低的延迟和更高的效率，适应动态环境的需求。
多模态模型的未来发展
随着VLM/多模态相关研究的快速增长，VLX的发布标志着这一领域向持续感知和实时行动的转变。未来，端侧多模态模型将越来越多地应用于机器人、无人机等具身智能设备，推动AI在物理世界的实际应用。
延伸问答
VLX模型的主要功能是什么？
VLX模型旨在实现持续感知、精准定位和行动决策。
VLX包含哪些子模型，它们各自的作用是什么？
VLX包含Flow、Seek和Go三个子模型，Flow负责实时感知，Seek进行精确定位，Go实现行动。
为什么VLX模型需要在端侧运行？
VLX模型需要在端侧运行以满足物理世界中实时感知和快速响应的需求，避免延迟。
VLX-Flow是如何解决动态环境中的感知问题的？
VLX-Flow采用流式处理，持续更新视觉状态，解决动态环境中的感知问题。
VLX-Seek与传统定位方法相比有什么优势？
VLX-Seek通过生成候选区域来提高定位精度，避免了传统方法的速度慢和偏差问题。
Om AI团队在多模态模型领域的背景是什么？
Om AI团队是国内最早布局多模态模型的团队之一，创始人赵天成是CMU计算机博士，团队成员来自多所知名机构。
