文章介绍从零手写大语言模型训练脚本,将预训练与全参数SFT合为一体,复用MiniMind的tokenizer和chat_template。脚本涵盖设备与随机种子初始化、数据集构建、梯度累积、AdamW参数更新、余弦学习率衰减、梯度裁剪与混合精度,并实现RMSNorm、RoPE、GQA注意力、MoE前馈层及负载均衡辅助损失,支持检查点续训与权重导出。
完成下面两步后,将自动完成登录并继续当前操作。