抛弃视觉编码器，这个「原生版」多模态大模型也能媲美主流方法
原文中文，约3600字，阅读约需9分钟。
📝
内容提要
智源研究院与大连理工大学、北京大学等合作推出了新一代无编码器的视觉语言模型EVE。EVE通过去除视觉编码器，能处理任意图像长宽比，并通过精细化的训练策略和额外的视觉监督，在多个视觉-语言基准测试中表现出色，与基于编码器的主流多模态方法相媲美。EVE的提出为纯解码器的原生多模态架构发展提供了一条透明且高效的路径。
❓
Q&A
EVE模型的主要创新是什么？
EVE模型去除了视觉编码器，能够处理任意图像长宽比，并在多个视觉-语言基准测试中表现出色。
EVE模型的训练策略有哪些？
EVE的训练策略包括大语言模型引导的预训练、生成式预训练和监督式微调。
EVE与传统视觉语言模型相比有什么优势？
EVE在输入尺寸灵活性、部署效率和模态容量匹配方面优于传统的基于编码器的视觉语言模型。
EVE模型的预训练数据来源是什么？
EVE模型的预训练使用了来自OpenImages、SAM和LAION的公开数据。
EVE模型在基准测试中的表现如何？
EVE在多个视觉-语言基准测试中表现优于同类型的Fuyu-8B，并与主流基于编码器的模型相当。
未来EVE模型的发展方向是什么？
未来EVE模型有许多有趣的方向值得探索，可能会进一步提升其性能和应用范围。
🏷️
