一文速览Eagle、Eagle 2、Eagle 2.5——英伟达开源的VLM：用于人形VLA GR00T N1和N1.5中
内容提要
本文介绍了Eagle 2的设计与训练方法，强调数据的多样性和质量。Eagle 2结合视觉编码器与大语言模型，通过动态拼接和多阶段训练策略提升视觉-语言模型性能。
关键要点
-
Eagle 2结合视觉编码器与大语言模型，通过动态拼接和多阶段训练策略提升视觉-语言模型性能。
-
数据的多样性和质量是Eagle 2设计的核心原则，采用了涵盖180多个来源的大规模高多样性数据池。
-
Eagle 2的模型架构采用以视觉为中心的设计，结合动态拼接和视觉编码器混合（MoVE）。
-
Eagle 2采用三阶段训练策略，最大化利用训练数据以提升模型性能。
-
数据收集策略包括被动收集和主动搜索，以确保数据的多样性和质量。
-
数据过滤和子集选择是确保高质量训练数据的关键步骤。
-
数据增强和格式化有助于挖掘输入图像中的潜在信息，提升模型的表现。
-
视觉编码器采用SigLIP和ConvNeXt，结合图像分块技术以处理高分辨率输入。
-
Eagle 2的训练方法强调后预训练阶段的重要性，以减少对SFT数据的依赖。
-
平衡感知的数据打包方法提高了训练速度，并优化了样本长度分布。
延伸解读
数据策略的重要性
Eagle 2的成功在于其数据策略的多样性和质量。通过涵盖180多个来源的数据池，模型能够更好地理解和处理多模态信息。数据的多样性不仅提升了模型的泛化能力，也为其在不同任务中的表现奠定了基础。
训练方法的创新
Eagle 2采用了三阶段训练策略，强调后预训练阶段的重要性。这种方法减少了对监督微调数据的依赖，使得模型在处理新数据时更加灵活和高效。通过这种创新的训练方法，Eagle 2能够快速迭代并提升性能。
视觉编码器的设计
Eagle 2结合了SigLIP和ConvNeXt作为视觉编码器，并采用图像分块技术以处理高分辨率输入。这种设计不仅提高了模型的感知能力，还在OCR和文档理解等任务中表现出色，展示了视觉编码器在多模态任务中的关键作用。
延伸问答
Eagle 2的设计原则是什么？
Eagle 2的设计原则是数据的多样性和质量，强调在整个开发过程中始终遵循“多样性优先，然后是质量”的原则。
Eagle 2是如何提升视觉-语言模型性能的？
Eagle 2通过结合视觉编码器与大语言模型，采用动态拼接和多阶段训练策略来提升视觉-语言模型的性能。
Eagle 2的数据收集策略有哪些？
Eagle 2的数据收集策略包括被动收集和主动搜索，确保数据的多样性和质量，涵盖180多个来源。
Eagle 2的训练方法有什么特点？
Eagle 2采用三阶段训练策略，最大化利用训练数据，并强调后预训练阶段的重要性，以减少对SFT数据的依赖。
Eagle 2使用了哪些视觉编码器？
Eagle 2使用了SigLIP和ConvNeXt作为视觉编码器，并结合图像分块技术处理高分辨率输入。
Eagle 2如何确保训练数据的高质量？
Eagle 2通过数据过滤和子集选择来确保高质量训练数据，剔除低质量样本并构建高质量子集。
