商汤科技与南洋理工大学推出NEO-unify，重构多模态模型，去除视觉编码器和变分自编码器，实现统一的端到端架构。该模型通过混合变换器架构，提升视觉与语言的理解与生成能力，标志着多模态AI向统一智能体的进化。

OpenBMB推出的MiniCPM-o-4.5模型仅用9B参数实现全模态能力，强调跨模态对齐与推理效率，适合主流GPU部署，具备高性能与轻量化优势。

多模态基础模型的安全评估通常将视觉和语言输入分开，忽视了联合解释的风险。我们提出了视觉语言安全理解（VLSU）框架，通过细致的严重性分类和组合分析来评估安全性。研究表明，尽管模型在单一安全信号上表现良好，但在需要联合图像-文本推理时，准确率显著下降，显示出组合推理能力的不足。该框架揭示了当前模型在联合理解方面的弱点，并为未来研究提供了重要的测试平台。

静态训练数据无法适应快速变化的信息，导致模型只能进行猜测。本文介绍了多模态大语言模型（LLM）的原理，通过将文本、图像和音频转化为统一的数学表示，模型实现了跨模态推理，能够实时理解和响应。

本文提出了视觉语言安全理解（VLSU）框架，用于系统评估多模态模型的安全性。研究发现，现有模型在图像-文本联合推理时准确率仅为20-55%。此外，模型在拒绝不安全内容与处理边界案例之间难以平衡，导致过度屏蔽和拒绝率下降。该框架揭示了模型的理解弱点，为未来研究奠定了基础。

亚马逊云科技推出了Amazon Nova多模态嵌入模型，支持文本、图像、视频和音频的统一嵌入，提升跨模态检索精度，适用于视频检索、图像分类和文档检索等场景，具备高效的语义理解能力，帮助用户从非结构化数据中提取洞见。

B站多媒体实验室在ICCV MIPI Workshop的细粒度图像质量定位国际挑战赛中，提出多模态训练策略，提升综合指标13.5%，获得第二名。实验室专注于视频质量评价与图像处理的协同，应用GRPO算法优化模型，验证了SFT+GRPO的有效性，推动智能视频处理系统的发展。

本文介绍了MobileCLIP2模型的改进，采用低延迟和轻量架构，结合多模态强化训练，提升了图像-文本的零-shot准确率。在优化教师模型和数据集后，MobileCLIP2在ImageNet-1k上实现了2.2%的准确率提升，并且延迟表现更佳。

大多数成功的神经网络依赖于监督训练，但需要大量高质量标注数据，成本高昂。我们提出了一种通过改进合成图像的真实性来提升模型在机器学习任务中的准确性的方法。