💡
原文中文，约3600字，阅读约需9分钟。
📝
内容提要
智源研究院与大连理工大学、北京大学等合作推出了新一代无编码器的视觉语言模型EVE。EVE通过去除视觉编码器，能处理任意图像长宽比，并通过精细化的训练策略和额外的视觉监督，在多个视觉-语言基准测试中表现出色，与基于编码器的主流多模态方法相媲美。EVE的提出为纯解码器的原生多模态架构发展提供了一条透明且高效的路径。
🎯
关键要点
- 智源研究院与大连理工大学、北京大学等合作推出无编码器视觉语言模型EVE。
- EVE去除视觉编码器，能处理任意图像长宽比，在多个视觉-语言基准测试中表现出色。
- EVE的提出为纯解码器的多模态架构发展提供了高效的路径。
- 当前视觉语言模型依赖视觉编码器，存在训练分离和视觉归纳偏置问题。
- EVE通过精细化训练策略和额外视觉监督，整合视觉-语言表征、对齐和推理。
- EVE模型的预训练使用公开数据，训练时间短，数据和训练代价少。
- EVE模型结构包括轻量级视觉编码层和视觉对齐层，增强视觉信息编码。
- 训练策略包括大语言模型引导的预训练、生成式预训练和监督式微调。
- EVE在多个基准测试中优于Fuyu-8B，与主流基于编码器模型表现相当。
- EVE表现出随着数据规模增加而稳定提升性能，逐渐逼近基于编码器模型的水平。
- 同行专家对EVE的创新性和架构表示赞赏，认为其为视觉语言模型领域带来新思路。
- 未来EVE还有许多有趣的方向值得探索。
➡️
