量子位
·
华为盘古718B模型最新成绩：开源第二
💡
原文中文，约3600字，阅读约需9分钟。
📝
内容提要
华为的openPangu-718B模型在SuperCLUE评测中表现出色，采用高质量数据和三阶段预训练策略，增强了推理和工具使用能力。通过批判内化机制减少幻觉，实现了系统性技术创新，展现出强大竞争力。
🎯
关键要点
- 华为的openPangu-718B模型在SuperCLUE评测中表现出色，排名第二。
- openPangu团队强调数据质量优先，而非单纯依赖数据量。
- 训练数据构建遵循质量优先、多样性覆盖和复杂度适配的原则。
- 模型的预训练分为三个阶段：通用、推理和退火。
- 引入批判内化机制以缓解模型幻觉，提高推理过程的自我审视能力。
- 采用ToolACE框架提升模型的工具使用能力，生成高质量的多轮多工具调用数据。
- 实施三步式后训练优化方案，包括渐进动态微调、强化学习微调和模型融合。
- openPangu-718B的成功源于系统性的技术创新和对核心问题的深刻洞察。
➡️
