Meta公司推出了一种紧凑型视觉编码器EUPE，能够同时处理多种视觉任务。它采用“先扩大规模，再缩小规模”的方法，将多个专家模型的知识整合到一个代理模型中，并提炼出高效的学生模型，从而解决边缘设备计算资源不足的问题。

现代大型多模态模型（LMM）在服务时效率低下，因视觉编码器与文本生成阶段共享资源。通过将视觉编码器独立服务化，可以实现流水线执行，消除干扰，提高吞吐量并降低延迟，从而优化资源分配和提升多模态请求处理效率。

本文介绍了Eagle 2的设计与训练方法，强调数据的多样性和质量。Eagle 2结合视觉编码器与大语言模型，通过动态拼接和多阶段训练策略提升视觉-语言模型性能。

jina-embeddings-v4推出了先进的多模态嵌入，支持文本、图像和复杂文档的向量搜索。通过修改llama.cpp，实现了多模态嵌入的生成，解决了图像处理和注意力机制的问题。调试后，llama.cpp模型的嵌入结果与参考模型相近，未来可优化视觉编码器和支持多向量嵌入。

CLIP方法用于训练视觉编码器生成图像和文本表示，但在细粒度视觉表示上有不足。本文提出CLOC方法，通过区域-文本对比损失提升CLIP的定位能力。CLOC引入可提示嵌入，设计视觉丰富的标注框架，生成大规模区域-文本伪标签，增强MLLMs在指代和定位任务中的表现。

提升图像分辨率对视觉语言模型（VLM）性能至关重要，但高分辨率下的视觉编码器效率低。FastVLM模型通过优化图像分辨率、延迟和准确性之间的平衡，采用新型混合视觉编码器FastViTHD，显著减少编码时间和视觉标记数量。与之前的方法相比，FastVLM在保持性能的同时，首次标记时间提升了3.2倍，并在高分辨率下表现优异。

AIxiv专栏促进学术交流，Florence-VL模型利用生成式视觉编码器Florence-2，克服传统视觉编码器的局限，提供多层次视觉特征，提升多模态任务的表现。

AIMv2是一种大型视觉编码器，通过多模态自回归目标进行预训练，解决了视觉编码器与生成任务之间的不匹配。该模型在多模态任务和视觉识别基准上表现优异，训练效率高，所需样本显著少于现有技术。

Janus是一种多模态理解与生成模型，通过分离视觉编码器提升灵活性和性能。它使用两个独立的视觉编码器处理理解和生成任务，并通过统一的Transformer进行整合。实验显示，Janus在多模态理解和视觉生成任务上表现优于现有模型，具备更好的指令跟随和多语言生成能力，设计灵活易扩展，适用于更多模态。

清华大学、腾讯和南洋理工大学的研究者推出了多模态模型Oryx，能够处理图像、视频和3D场景。Oryx的创新包括预训练的视觉编码器和动态压缩模块，支持不同分辨率和长度的输入。它在多模态融合上表现优异，尤其在视频、图像和3D理解任务中表现突出。通过优化分辨率和压缩策略，Oryx提高了效率和精度。