你不知道的大模型训练：原理、路径与新实践

大模型训练包括预训练、后训练、评测和奖励等环节，用户体验的提升主要源于后期优化。

数据质量和训练流程设计对模型能力至关重要，模型表现与训练系统、架构及反馈机制密切相关。

训练过程是一条流水线，各层高度耦合，变化会影响其他层。

预训练是模型能力的基础，决定知识范围和泛化潜力，但无法决定模型的指令遵循和用户配合能力。

数据配方决定模型能力，数据清洗和去重对结果影响显著。

系统和架构的约束在训练前就要考虑，GPU数量、显存带宽等因素影响模型训练的规模和复杂性。

后训练阶段决定用户感受到的差距，包括指令微调和强化学习等方法。

评测和奖励设计对模型优化至关重要，需关注过程质量和反馈回路。

Agent训练阶段不仅优化模型本身，还需考虑环境的稳定性和反馈机制。

发布的模型通常经过多轮训练和优化，最终选择的版本是基于产品决策而非单一指标。

未来模型的价值在于持续产出训练数据和优化反馈回路，训练和部署之间的边界正在缩短。