Yi's blog
·
逐步构建变压器
💡
原文英文，约1100词，阅读约需4分钟。
📝
内容提要
经过几个月的学习，我从零开始构建了一个字符级名称生成器。通过逐步添加架构组件，我发现数据处理对模型性能影响最大，深度比宽度更重要。最终模型在20,000步训练后，测试损失降至1.86，显示出显著改进。
🎯
关键要点
- 经过几个月的学习，构建了一个字符级名称生成器。
- 在构建之前，通过阅读Sebastian Raschka的书籍和Andrej Karpathy的YouTube系列建立了理论基础。
- 逐步添加架构组件，每一步都测量其影响。
- 最终模型在20,000步训练后，测试损失降至1.86，显示出显著改进。
- 深度比宽度更重要，堆叠4层是最大的改进。
- 数据处理对模型性能影响最大，使用每个名称的填充显著降低了测试损失。
- 添加前馈网络（MLP）增加了参数数量，但改善有限，且可能导致轻微过拟合。
- LayerNorm和RoPE在小规模模型中帮助稳定训练，但在更大模型中更为重要。
- GELU与ReLU在小规模下的效果微乎其微。
- 扩展模型规模显著改善性能，20,000步训练后测试损失降至1.85。
- 添加dropout在初期降低了测试损失，但在长时间训练中有助于防止过拟合。
- 学习率调度、权重衰减和梯度裁剪共同改善了训练过程。
- 最终模型是一个完整的变换器解码器，使用了多种现代技术以提高性能。
- 项目进展显示，最终模型的正确字符预测概率提高了约1.6倍。
➡️
