Josherich的博客
·
斯坦福CS336：从零开始的语言建模 | 2025年春季 | 架构与超参数
💡
原文英文，约13500词，阅读约需49分钟。
📝
内容提要
斯坦福CS336课程讲解了语言模型架构与超参数，强调实践经验的重要性。课程回顾了变换器的基本结构，探讨了不同架构变体及超参数选择对模型性能的影响。现代模型普遍采用预归一化和RMS归一化，且大多数模型不再使用偏置项。同时，课程讨论了位置嵌入的演变，强调相对位置嵌入的有效性。
🎯
关键要点
- 斯坦福CS336课程讲解语言模型架构与超参数，强调实践经验的重要性。
- 课程回顾变换器的基本结构，探讨不同架构变体及超参数选择对模型性能的影响。
- 现代模型普遍采用预归一化和RMS归一化，大多数模型不再使用偏置项。
- 课程讨论位置嵌入的演变，强调相对位置嵌入的有效性。
- 课程内容包括架构变体、超参数选择及其对模型训练的影响。
- 现代LLM普遍使用预归一化，且在训练中更倾向于使用RMS归一化。
- 大多数现代模型不再使用偏置项，认为其对稳定性有负面影响。
- 位置嵌入方面，近年来大多数模型已转向使用相对位置嵌入（rope）。
- 超参数选择方面，dff通常设定为d model的四倍，GLU变体则为2/3倍。
- 词汇表大小逐渐增大，现代多语言模型的词汇表通常在10万到25万之间。
❓
延伸问答
斯坦福CS336课程主要讲解哪些内容？
课程主要讲解语言模型的架构与超参数，强调实践经验的重要性。
现代语言模型通常使用哪些归一化方法？
现代模型普遍采用预归一化和RMS归一化，且大多数模型不再使用偏置项。
相对位置嵌入的优势是什么？
相对位置嵌入强调了位置的相对关系，能够更有效地捕捉词之间的相对位置。
超参数选择对模型性能有何影响？
超参数选择直接影响模型的训练效果和性能，合理的选择可以提高模型的稳定性和准确性。
课程中提到的变换器架构有哪些变体？
课程回顾了变换器的基本结构，并探讨了不同架构变体及其对模型性能的影响。
现代语言模型的词汇表大小通常是多少？
现代多语言模型的词汇表通常在10万到25万之间。
➡️
