ChartNet是由麻省理工学院等机构开发的高质量多模态数据集，包含150万个图表样本，涵盖24种图表类型，旨在提升AI对图表的理解能力。该数据集支持图表重建、数据提取和摘要生成等任务。研究表明，微调模型在ChartNet上表现优于现有大型模型，推动了视觉语言模型在图表理解领域的进步。

三维空间感知是自动驾驶和机器人领域的核心能力，旨在从二维图像恢复真实世界的空间结构。Meta与普林斯顿大学提出的VLM³框架，基于标准视觉语言模型，统一了物体级三维理解和公制深度估计等任务，显著提升了模型在细粒度三维感知中的表现。研究表明，通用视觉语言模型在三维表征能力上超出预期，为三维视觉领域的统一基础模型提供了新依据。

星海图提出的G0.5模型将视觉语言模型与动作生成统一为单一自回归序列，通过共享权重实现推理与动作的耦合，提升机器人控制效率。该模型采用可学习的动作分词器和视觉记忆模块，优化动作生成过程，减少离散化负担，能够在零样本条件下分解任务，直接生成动作，增强对复杂场景的适应能力。

MIT和IBM研究人员开发了ChartNet数据集，包含超过一百万种多样化图表，旨在提升视觉语言模型对图表的理解能力。该数据集通过合成数据生成，帮助小型企业利用AI进行商业趋势分析和科学数据解读。研究表明，使用ChartNet训练的开源模型在图表提取和总结任务上优于大型商业模型。

GR00T N1.6和N1.7是NVIDIA开发的视觉语言模型（VLM），用于机器人控制。N1.6改进了模型结构，支持灵活分辨率，并引入新数据集；N1.7在此基础上增强了模型的泛化能力，并在大量人类视频数据上进行预训练，提高了机器人控制的精确性和效率。

大华股份在南京发布了无人机智能巡检大模型一体机，专注于水域安全监管。该设备结合视频AI算法和视觉语言模型，能够智能识别违章建筑和违规船只，提升巡检效率，采用双模型架构，确保实时检测与高准确性。

WRING是一种新型去偏见技术，通过调整模型中特定坐标的表示方式，减少目标概念的偏见，同时不增加其他领域的偏见。该方法高效且无需重新训练模型，适用于视觉语言模型（VLM），如CLIP模型。研究表明，WRING在减少偏见方面效果显著。

本文探讨了模型内部信息的探测及其潜在的信息泄露风险。通过对视觉语言模型的研究，比较了不同表示层级的信息保留情况，发现顶级logit值可能泄露与任务无关的信息。此外，文章讨论了静态残差变换在自回归生成中的效率与生成质量之间的权衡。

本文介绍了SafetyPairs框架，生成仅在安全特征上不同的图像对，以区分安全与不安全的图像。通过图像编辑模型进行针对性修改，构建了一个包含3020个图像的安全基准，提升了视觉语言模型的评估能力，并改善了轻量级模型的训练效率。

未来，PaddleFormers将降低多模态模型的训练门槛，帮助开发者构建实际业务能力，推动多模态模型在更多场景中的应用。随着能力的提升，视觉语言模型将更好地理解和定位世界，PaddleFormers提供高效的训练工具，便于模型的微调与扩展。

选择合适的嵌入模型并不简单，但可以通过定制基准测试来改善。新课程教你如何利用视觉语言模型和大型语言模型进行文本提取和评估，克服Python库的局限性，生成评估问题，创建数据向量表示，并使用ranx库进行基准测试和可视化。

GraspVLA是一种基于十亿级合成抓取数据集的机器人抓取模型，结合视觉语言模型和动作生成机制，提升了抓取技能的泛化能力。该模型通过渐进式动作生成方法，实现了仿真到现实的迁移，展现出优异的零样本性能。

Midscene.js是一个跨平台的UI自动化框架，利用视觉语言模型进行视觉定位和交互。它支持自然语言描述自动化目标，提供JavaScript SDK和YAML脚本，适用于Web、Android和iOS，适合端到端UI测试和操作任务自动化，降低维护成本。

智谱AI推出手机端智能助理框架Open-AutoGLM，利用视觉语言模型实现屏幕内容的深度理解与自动化操作。用户可通过自然语言指令完成任务，系统确保安全性并支持远程调试，已覆盖50余款主流应用，逐步成为全场景智能助手。

Coinbase、MSCI和Zscaler等公司的工程团队利用Resolve AI的AI SRE工具，使平均修复时间（MTTR）提高了5倍，开发效率提升了75%。Molmo是一种新型视觉语言模型，基于PixMo数据集，解决了现有模型的依赖问题，增强了视觉理解和推理能力。

BALROG是一个开源基准套件，用于评估大语言模型（LLM）和视觉语言模型（VLM）在游戏任务中的推理与决策能力。它通过设计游戏任务和评测指标，帮助研究者比较不同模型的表现，支持模型选择与微调。该套件基于Python实现，采用模块化架构，关注决策过程的可测量性，并支持跨模态推理能力的评估。

jina-vlm是一个具有2.4B参数的视觉语言模型，支持29种语言的视觉问答，性能优越，适合消费级硬件。它结合了SigLIP2视觉编码器和Qwen3语言骨干，在多语言理解和视觉推理方面表现出色，并通过高效的注意力池化连接器减少视觉标记数量，保持多语言能力。

百度推出PaddleOCR-VL模型，结合视觉语言模型，支持109种语言，能够高效识别文本和表格等元素，资源消耗低，适合实际应用。