Yi's blog
·
逐步构建变压器
内容提要
经过几个月的学习，我从零开始构建了一个字符级名称生成器。通过逐步添加架构组件，我发现数据处理对模型性能影响最大，深度比宽度更重要。最终模型在20,000步训练后，测试损失降至1.86，显示出显著改进。
关键要点
-
经过几个月的学习，构建了一个字符级名称生成器。
-
在构建之前，通过阅读Sebastian Raschka的书籍和Andrej Karpathy的YouTube系列建立了理论基础。
-
逐步添加架构组件，每一步都测量其影响。
-
最终模型在20,000步训练后，测试损失降至1.86，显示出显著改进。
-
深度比宽度更重要，堆叠4层是最大的改进。
-
数据处理对模型性能影响最大，使用每个名称的填充显著降低了测试损失。
-
添加前馈网络（MLP）增加了参数数量，但改善有限，且可能导致轻微过拟合。
-
LayerNorm和RoPE在小规模模型中帮助稳定训练，但在更大模型中更为重要。
-
GELU与ReLU在小规模下的效果微乎其微。
-
扩展模型规模显著改善性能，20,000步训练后测试损失降至1.85。
-
添加dropout在初期降低了测试损失，但在长时间训练中有助于防止过拟合。
-
学习率调度、权重衰减和梯度裁剪共同改善了训练过程。
-
最终模型是一个完整的变换器解码器，使用了多种现代技术以提高性能。
-
项目进展显示，最终模型的正确字符预测概率提高了约1.6倍。
延伸问答
构建字符级名称生成器的过程是怎样的？
通过逐步添加架构组件并测量其影响，最终构建了一个字符级名称生成器。
在构建变压器时，哪些理论基础是重要的？
Sebastian Raschka的书籍和Andrej Karpathy的YouTube系列提供了重要的理论基础。
数据处理对模型性能的影响有多大？
数据处理是影响模型性能的最大因素，使用每个名称的填充显著降低了测试损失。
模型的深度和宽度哪个更重要？
深度比宽度更重要，堆叠4层是最大的改进。
添加前馈网络（MLP）对模型有什么影响？
添加MLP增加了参数数量，但改善有限，且可能导致轻微过拟合。
训练过程中使用的学习率调度有什么作用？
学习率调度、权重衰减和梯度裁剪共同改善了训练过程，防止了不稳定性。
