Josherich的博客
·
斯坦福CS336：从零开始的语言建模 | 2025年春季 | 架构与超参数
内容提要
斯坦福CS336课程讲解了语言模型架构与超参数，强调实践经验的重要性。课程回顾了变换器的基本结构，探讨了不同架构变体及超参数选择对模型性能的影响。现代模型普遍采用预归一化和RMS归一化，且大多数模型不再使用偏置项。同时，课程讨论了位置嵌入的演变，强调相对位置嵌入的有效性。
关键要点
-
斯坦福CS336课程讲解语言模型架构与超参数，强调实践经验的重要性。
-
课程回顾变换器的基本结构，探讨不同架构变体及超参数选择对模型性能的影响。
-
现代模型普遍采用预归一化和RMS归一化，大多数模型不再使用偏置项。
-
课程讨论位置嵌入的演变，强调相对位置嵌入的有效性。
-
课程内容包括架构变体、超参数选择及其对模型训练的影响。
-
现代LLM普遍使用预归一化，且在训练中更倾向于使用RMS归一化。
-
大多数现代模型不再使用偏置项，认为其对稳定性有负面影响。
-
位置嵌入方面，近年来大多数模型已转向使用相对位置嵌入（rope）。
-
超参数选择方面，dff通常设定为d model的四倍，GLU变体则为2/3倍。
-
词汇表大小逐渐增大，现代多语言模型的词汇表通常在10万到25万之间。
延伸解读
语言模型架构的演变
现代语言模型的架构经历了显著的演变，尤其是在位置嵌入方面。课程强调，相对位置嵌入（rope）已成为主流，取代了绝对位置嵌入。这种转变反映了对模型性能和上下文理解的深入思考，尤其是在处理长文本时。
超参数选择的重要性
超参数的选择对模型的训练效果至关重要。课程指出，许多现代模型遵循特定的规则，例如，前馈层的维度通常设定为输入维度的四倍。这种经验法则有助于优化模型性能，避免盲目选择超参数带来的不稳定性。
归一化技术的趋势
在现代语言模型中，归一化技术的选择也在不断变化。课程提到，RMS归一化已成为大多数模型的标准选择，因其在训练稳定性和计算效率上表现优越。了解这些技术的演变有助于研究者在设计新模型时做出更明智的决策。
延伸问答
斯坦福CS336课程主要讲解哪些内容？
课程主要讲解语言模型的架构与超参数，强调实践经验的重要性。
现代语言模型通常使用哪些归一化方法？
现代模型普遍采用预归一化和RMS归一化，且大多数模型不再使用偏置项。
相对位置嵌入的优势是什么？
相对位置嵌入强调了位置的相对关系，能够更有效地捕捉词之间的相对位置。
超参数选择对模型性能有何影响？
超参数选择直接影响模型的训练效果和性能，合理的选择可以提高模型的稳定性和准确性。
课程中提到的变换器架构有哪些变体？
课程回顾了变换器的基本结构，并探讨了不同架构变体及其对模型性能的影响。
现代语言模型的词汇表大小通常是多少？
现代多语言模型的词汇表通常在10万到25万之间。
