字节推出的Seed1.5-VL多模态推理模型在60项基准测试中获得38项第一，表现优异。该模型结合532M视觉编码器和200亿参数，擅长复杂推理、OCR和图像理解。通过创新的训练方法和架构设计，模型在多模态数据处理上表现突出，但仍存在局限性。

本研究提出了ResNetVLLM框架，结合ResNet视觉编码器与大型语言模型，旨在解决零-shot视频理解问题。该模型在多个基准测试中表现优异，能够生成准确的上下文相关文本描述。

本研究提出了一种名为“消失深度”的自监督训练方法，旨在解决视觉编码器在广义度量深度理解方面的不足。通过新颖的位置信息深度编码技术，该方法显著提升了多个RGBD下游任务的性能，且无需微调编码器。

Gaze-LLE是一个基于变换器的注视目标估计模型，利用预训练的视觉基础模型，在冻结的视觉编码器上学习轻量级解码器，显著减少参数量，无需额外输入如深度和姿态。该模型通过ONNX实现，支持人脸检测和注视预测。

该研究提出了一种索引反向传播量化（IBQ）方法，解决了现有向量量化在可扩展性方面的不足，并优化了代码本与视觉编码器的联合训练。实验结果表明，IBQ在视觉生成任务中表现优异。

本文介绍了多模态大型语言模型LLaVA的优化研究，提出了区域级视觉编码器和MixLoRA等新方法，显著提升了模型在多样化任务中的性能。同时，研究探讨了基于语言的指令调优方法，改善了模型在零样本任务中的泛化能力，尤其在语言数据集上表现优异。

本研究提出LHRS-Bot-Nova，一种改进的多模态大语言模型，专注于遥感图像理解。该模型通过增强视觉编码器和新桥接层，优化视觉压缩和语言视觉对齐，显著提升遥感任务的效率和精确性。

该论文提出了一种多模态条件适应（MMCA）方法，旨在改进视觉引导模型的特征提取。通过动态更新视觉编码器的权重，MMCA能够更有效地处理与文本相关的区域。实验结果表明，该方法在多个数据集上显著提升了性能，且成本较低。

本研究探讨了多模态大型语言模型中不同视觉编码器的有效性，发现CLIP在细粒度任务中表现优异，而DINO经过简单对齐后也展现出良好性能。研究提出的特征融合策略COMM有效结合了CLIP和DINO，显著提升了MLLMs的视觉能力。

视觉语言模型（VLM）由视觉编码器和语言模型组成。研究发现，不同编码器在任务中表现不同，没有单一最佳配置。为此，提出BRAVE方法，将多个编码器特征整合为更灵活的表示，作为语言模型输入。BRAVE在字幕生成和视觉问答中表现优异，减少了可训练参数，提升了视觉理解能力。

本文介绍了一种端到端训练的理解网络，结合语言和视觉编码器，通过动态滤波器将文本知识转移到图像中，捕获对象的空间信息。生成的字幕网络增强了语言和视觉模块的通信，提高了表示效果。在两个数据集上的评估显示，该方法表现优异。