Zyphra发布了Zamba2-VL系列开放视觉语言模型，包含12亿、27亿和70亿参数。该模型采用混合SSM-Transformer架构，支持图像与文本的理解与关联，推理速度快，适用于文档提取和库存盘点等场景。尽管在知识推理方面表现不如大型模型，但在视觉计数和文档理解上具有优势。模型权重和推理代码已公开。

ChartNet是由麻省理工学院等机构开发的高质量多模态数据集，包含150万个图表样本，涵盖24种图表类型，旨在提升AI对图表的理解能力。该数据集支持图表重建、数据提取和摘要生成等任务。研究表明，微调模型在ChartNet上表现优于现有大型模型，推动了视觉语言模型在图表理解领域的进步。

三维空间感知是自动驾驶和机器人领域的核心能力，旨在从二维图像恢复真实世界的空间结构。Meta与普林斯顿大学提出的VLM³框架，基于标准视觉语言模型，统一了物体级三维理解和公制深度估计等任务，显著提升了模型在细粒度三维感知中的表现。研究表明，通用视觉语言模型在三维表征能力上超出预期，为三维视觉领域的统一基础模型提供了新依据。

星海图提出的G0.5模型将视觉语言模型与动作生成统一为单一自回归序列，通过共享权重实现推理与动作的耦合，提升机器人控制效率。该模型采用可学习的动作分词器和视觉记忆模块，优化动作生成过程，减少离散化负担，能够在零样本条件下分解任务，直接生成动作，增强对复杂场景的适应能力。

MIT和IBM研究人员开发了ChartNet数据集，包含超过一百万种多样化图表，旨在提升视觉语言模型对图表的理解能力。该数据集通过合成数据生成，帮助小型企业利用AI进行商业趋势分析和科学数据解读。研究表明，使用ChartNet训练的开源模型在图表提取和总结任务上优于大型商业模型。

GR00T N1.6和N1.7是NVIDIA开发的视觉语言模型（VLM），用于机器人控制。N1.6改进了模型结构，支持灵活分辨率，并引入新数据集；N1.7在此基础上增强了模型的泛化能力，并在大量人类视频数据上进行预训练，提高了机器人控制的精确性和效率。

大华股份在南京发布了无人机智能巡检大模型一体机，专注于水域安全监管。该设备结合视频AI算法和视觉语言模型，能够智能识别违章建筑和违规船只，提升巡检效率，采用双模型架构，确保实时检测与高准确性。

本文探讨了基于消费级GPU的实时视觉-语言模型（VLA）机器人控制技术。通过优化推理流程，推理延迟降低至27.3毫秒，抓取成功率达到100%。研究表明，VLA在机器人控制中可有效满足实时操作需求。

WRING是一种新型去偏见技术，通过调整模型中特定坐标的表示方式，减少目标概念的偏见，同时不增加其他领域的偏见。该方法高效且无需重新训练模型，适用于视觉语言模型（VLM），如CLIP模型。研究表明，WRING在减少偏见方面效果显著。

本文探讨了模型内部信息的探测及其潜在的信息泄露风险。通过对视觉语言模型的研究，比较了不同表示层级的信息保留情况，发现顶级logit值可能泄露与任务无关的信息。此外，文章讨论了静态残差变换在自回归生成中的效率与生成质量之间的权衡。

本文介绍了SafetyPairs框架，生成仅在安全特征上不同的图像对，以区分安全与不安全的图像。通过图像编辑模型进行针对性修改，构建了一个包含3020个图像的安全基准，提升了视觉语言模型的评估能力，并改善了轻量级模型的训练效率。

TrajTok是一种视频标记模块，通过动态调整标记粒度，解决视频模型中的标记冗余问题。它集成了统一的分割器，能够高效生成对象轨迹，提升视频理解性能。在分类和检索基准测试中表现优异，可作为预训练视觉特征的探测头或视觉-语言模型的连接器。

麻省理工学院的研究人员开发了一种基于生成性人工智能的长期视觉任务规划方法，成功率约为70%。该系统结合视觉-语言模型与正式规划能力，能够处理复杂视觉输入并生成有效规划，适用于多种实际应用。

本文介绍了MetaWorld，一个基于分层世界模型的机器人控制框架，旨在弥合高层语义理解与低层物理执行之间的鸿沟。该框架结合视觉-语言模型、模仿学习和强化学习的优势，通过分层架构进行任务解析和动作生成，提升机器人在动态环境中的适应性和泛化能力。

未来，PaddleFormers将降低多模态模型的训练门槛，帮助开发者构建实际业务能力，推动多模态模型在更多场景中的应用。随着能力的提升，视觉语言模型将更好地理解和定位世界，PaddleFormers提供高效的训练工具，便于模型的微调与扩展。

选择合适的嵌入模型并不简单，但可以通过定制基准测试来改善。新课程教你如何利用视觉语言模型和大型语言模型进行文本提取和评估，克服Python库的局限性，生成评估问题，创建数据向量表示，并使用ranx库进行基准测试和可视化。

GraspVLA是一种基于十亿级合成抓取数据集的机器人抓取模型，结合视觉语言模型和动作生成机制，提升了抓取技能的泛化能力。该模型通过渐进式动作生成方法，实现了仿真到现实的迁移，展现出优异的零样本性能。