InfoQ
·
Ai2推出OLMo 2，完全开源的基础模型
内容提要
Allen人工智能研究所推出了OLMo 2系列开源语言模型，参数为70亿和130亿。该模型经过5万亿个标记训练，采用分阶段训练和多样化数据集，显著提升了训练稳定性和模型鲁棒性。在知识回忆、推理和语言能力方面，OLMo 2超越了前代模型，成为开源AI的新标杆。
关键要点
-
Allen人工智能研究所推出了OLMo 2系列开源语言模型，参数为70亿和130亿。
-
OLMo 2经过5万亿个标记训练，采用分阶段训练和多样化数据集，提升了训练稳定性和模型鲁棒性。
-
OLMo 2的架构改进了层归一化，采用RMSNorm和旋转位置嵌入，以及Z-loss正则化。
-
训练过程分为两个阶段，第一阶段使用OLMo-Mix-1124数据集，第二阶段进行Dolmino-Mix-1124的微调。
-
模型合并技术（model souping）对最终版本的性能优化至关重要。
-
OLMo 2在所有评估任务中显著超越前代模型OLMo-0424，设定了开源语言建模的新基准。
-
OLMo 2 7B超越Llama-3.1 8B，OLMo 2 13B超越Qwen 2.5 7B，尽管训练FLOPs更少。
-
使用开放语言建模评估系统（OLMES）确认了OLMo 2在知识回忆、推理和语言能力方面的优势。
-
OLMo 2的推出标志着语言建模领域的重大转变，解决了训练稳定性和评估透明性的问题。
-
AI社区对OLMo 2的发布反应热烈，认可Ai2对开源的承诺。
-
OLMo 2模型及其权重、数据、代码、配方和中间检查点均已公开。
-
OLMES的引入提供了结构化基准，以指导模型开发和有效跟踪进展。
-
后训练方法（如监督微调、偏好微调和可验证奖励的强化学习）增强了模型的指令跟随能力。
延伸问答
OLMo 2模型的参数有多少？
OLMo 2模型有70亿和130亿两个参数配置。
OLMo 2是如何提升训练稳定性的？
OLMo 2采用分阶段训练和多样化数据集，显著提升了训练稳定性和模型鲁棒性。
OLMo 2与前代模型相比有哪些优势？
OLMo 2在知识回忆、推理和语言能力方面超越了前代模型OLMo-0424，设定了新的开源语言建模基准。
OLMo 2的训练数据集是怎样的？
OLMo 2的训练过程分为两个阶段，第一阶段使用OLMo-Mix-1124数据集，第二阶段进行Dolmino-Mix-1124的微调。
OLMo 2的发布对AI社区有什么影响？
AI社区对OLMo 2的发布反应热烈，认可Ai2对开源的承诺，认为这是开源AI的重要进展。
OLMo 2的评估系统是什么？
OLMo 2使用开放语言建模评估系统（OLMES），提供结构化基准以指导模型开发和跟踪进展。
