你不知道的大模型训练：原理、路径与新实践

大模型训练的关键在于后训练阶段，包括指令遵循、评测和奖励等。

预训练是基础，但后续的训练流程和数据配置更决定模型的实际能力。

模型优化不仅依赖参数，还需考虑系统架构和反馈机制。

训练过程是一条流水线，数据、算法、系统、反馈高度耦合。

预训练阶段决定模型的知识范围和能力激活空间。

数据配方决定模型能力，数据清洗和去重对结果影响显著。

系统和架构的约束在训练前就要考虑，影响模型的规模和复杂性。

后训练阶段决定用户感受到的模型表现，包括指令微调和强化学习。

评测和奖励设计对模型优化至关重要，需关注过程质量和反馈机制。

Agent训练阶段优化的不仅是模型本身，还有环境和反馈机制。

训练链路的持续优化和数据生成是模型价值的重要组成部分。

发布的模型通常是经过多次比较和优化的结果，而非单一指标最强的版本。