多模态LLaVA系列与Eagle 2——从组合CLIP ViT和Vicuna的LLaVA，到英伟达开源的VLM Eagle 2(用于人形VLA GR00T N1中)
💡
原文中文，约8700字，阅读约需21分钟。
📝
内容提要
本文探讨了英伟达的视觉语言模型Eagle 2，强调数据策略在模型开发中的关键作用。作者详细介绍了数据收集、过滤和选择的方法，提出多样化数据可提升模型性能。Eagle 2在多模态基准测试中表现出色，展示了开源视觉语言模型的潜力与发展方向。
🎯
关键要点
- 本文探讨了英伟达的视觉语言模型Eagle 2，强调数据策略在模型开发中的关键作用。
- Eagle 2在多模态基准测试中表现出色，展示了开源视觉语言模型的潜力与发展方向。
- Eagle 2的开发遵循了“多样性优先，然后是质量”的数据策略，优化了数据收集、过滤和选择。
- Eagle 2采用了三阶段训练策略，以最佳利用训练数据，提升模型性能。
- 模型架构方面，Eagle 2结合了动态拼接和视觉编码器混合的设计，确保高分辨率输入。
- 数据策略包括被动收集和主动搜索，以确保数据的多样性和质量。
- 数据过滤标准用于去除低质量样本，确保训练数据的有效性。
- 子集选择基于数据源的多样性和分布，采用K-means聚类选择样本。
- 数据增强和格式化是数据准备中的关键步骤，确保数据的适用性和丰富性。
- 训练方法强调后预训练阶段的重要性，并采用平衡感知的数据打包策略以加速训练。
- 视觉编码器的平铺混合设计使得Eagle 2能够处理高分辨率图像，提升了模型的性能。
➡️
