InfoQ
·
Ai2推出OLMo 2，完全开源的基础模型
💡
原文英文，约500词，阅读约需2分钟。
📝
内容提要
Allen人工智能研究所推出了OLMo 2系列开源语言模型，参数为70亿和130亿。该模型经过5万亿个标记训练，采用分阶段训练和多样化数据集，显著提升了训练稳定性和模型鲁棒性。在知识回忆、推理和语言能力方面，OLMo 2超越了前代模型，成为开源AI的新标杆。
🎯
关键要点
- Allen人工智能研究所推出了OLMo 2系列开源语言模型，参数为70亿和130亿。
- OLMo 2经过5万亿个标记训练，采用分阶段训练和多样化数据集，提升了训练稳定性和模型鲁棒性。
- OLMo 2的架构改进了层归一化，采用RMSNorm和旋转位置嵌入，以及Z-loss正则化。
- 训练过程分为两个阶段，第一阶段使用OLMo-Mix-1124数据集，第二阶段进行Dolmino-Mix-1124的微调。
- 模型合并技术（model souping）对最终版本的性能优化至关重要。
- OLMo 2在所有评估任务中显著超越前代模型OLMo-0424，设定了开源语言建模的新基准。
- OLMo 2 7B超越Llama-3.1 8B，OLMo 2 13B超越Qwen 2.5 7B，尽管训练FLOPs更少。
- 使用开放语言建模评估系统（OLMES）确认了OLMo 2在知识回忆、推理和语言能力方面的优势。
- OLMo 2的推出标志着语言建模领域的重大转变，解决了训练稳定性和评估透明性的问题。
- AI社区对OLMo 2的发布反应热烈，认可Ai2对开源的承诺。
- OLMo 2模型及其权重、数据、代码、配方和中间检查点均已公开。
- OLMES的引入提供了结构化基准，以指导模型开发和有效跟踪进展。
- 后训练方法（如监督微调、偏好微调和可验证奖励的强化学习）增强了模型的指令跟随能力。
➡️
