抛弃视觉编码器，这个「原生版」多模态大模型也能媲美主流方法
内容提要
智源研究院与大连理工大学、北京大学等合作推出了新一代无编码器的视觉语言模型EVE。EVE通过去除视觉编码器，能处理任意图像长宽比，并通过精细化的训练策略和额外的视觉监督，在多个视觉-语言基准测试中表现出色，与基于编码器的主流多模态方法相媲美。EVE的提出为纯解码器的原生多模态架构发展提供了一条透明且高效的路径。
延伸解读
无编码器架构的动机与挑战
当前视觉语言模型依赖视觉编码器提取特征，但编码器与大语言模型训练分离，导致视觉归纳偏置，如图像分辨率和纵横比受限，以及强烈的视觉语义先验。此外，编码器容量扩大也限制了部署效率。EVE尝试去除编码器，直接构建原生多模态大模型，以解决这些问题，但面临收敛慢和性能差的挑战。
EVE的关键技术设计
EVE通过轻量级视觉编码层和视觉对齐层处理图像输入。Patch Embedding Layer使用卷积和交叉注意力增强局部与全局特征，并引入可学习的<SPL> token理解二维结构。Patch Aligning Layer则通过自适应池化和层级交叉注意力，与视觉编码器输出对齐，强化细粒度视觉信息编码。
训练策略与数据效率
EVE采用三阶段训练：大语言模型引导的预训练建立视觉-语言初步联系；生成式预训练提升理解能力；监督式微调规范指令跟随。预训练使用公开数据，如SA-1B、OpenImages和LAION，并筛选高分辨率图像，利用Emu2和LLaVA-1.5重新生成描述。训练在少量A100节点上数天完成，数据和计算代价较低。
性能表现与未来方向
EVE在多个视觉语言基准测试中优于Fuyu-8B，与主流基于编码器的模型相当。随着数据规模增加，性能稳定提升，可能因为统一网络编码视觉和语言更具挑战，反而减少了过拟合。未来，EVE为纯解码器原生多模态架构提供了透明高效的路径，值得进一步探索。
Q&A
EVE模型的主要创新是什么？
EVE模型去除了视觉编码器，能够处理任意图像长宽比，并在多个视觉-语言基准测试中表现出色。
EVE模型的训练策略有哪些？
EVE的训练策略包括大语言模型引导的预训练、生成式预训练和监督式微调。
EVE与传统视觉语言模型相比有什么优势？
EVE在输入尺寸灵活性、部署效率和模态容量匹配方面优于传统的基于编码器的视觉语言模型。
EVE模型的预训练数据来源是什么？
EVE模型的预训练使用了来自OpenImages、SAM和LAION的公开数据。
EVE模型在基准测试中的表现如何？
EVE在多个视觉-语言基准测试中表现优于同类型的Fuyu-8B，并与主流基于编码器的模型相当。
未来EVE模型的发展方向是什么？
未来EVE模型有许多有趣的方向值得探索，可能会进一步提升其性能和应用范围。
