大型语言模型快速演变，但其基础架构变化不大。
原文英文，约500词，阅读约需2分钟。
📝
内容提要
解码器-只变压器架构是人工智能研究中的基本概念之一，现代语言模型常使用此架构，包括输入层、因果自注意力、前馈变换、分类头和变压器块。了解此架构是明智的投资。
🔎
延伸解读
架构稳定性背后的原因
尽管大型语言模型更新频繁，但其核心架构——解码器-只变压器——多年来基本未变。这主要是因为该架构已被证明高效且可扩展，通过增大模型规模和改进训练过程即可提升性能，无需根本性改变。因此，深入理解这一架构是把握AI研究基础的关键。
因果自注意力的核心作用
因果自注意力是解码器-只变压器的核心，它确保模型在生成每个标记时只关注前面的标记，从而保持自回归特性。这种机制通过多头并行计算，使模型能够捕捉输入序列中不同位置的依赖关系，是语言模型能够生成连贯文本的基础。
前馈变换与分类头的功能
前馈变换在每个变压器块内对每个标记的表示进行独立变换，通过线性投影、非线性激活和另一个线性投影实现。分类头则将最终输出映射到词汇表大小，用于下一标记预测或文本生成。这两个组件共同支撑了模型的训练和推理。
❓
Q&A
解码器-只变压器架构的主要组成部分有哪些？
解码器-只变压器架构主要由输入层、因果自注意力、前馈变换、分类头和变压器块五个部分组成。
现代语言模型是如何提升性能的？
现代语言模型通过增大模型规模和改进训练过程来提升性能，尽管其架构与原始GPT模型相似。
因果自注意力在解码器-只变压器架构中有什么作用？
因果自注意力允许模型学习输入标记之间的关系，只计算前面标记的注意力分数。
输入层是如何处理文本的？
输入层使用分词器将文本转换为离散的标记，并将其映射到嵌入层的向量。
前馈变换在解码器块中是如何工作的？
前馈变换在每个解码器块内进行，允许对每个标记的表示进行单独变换，使用小型神经网络进行处理。
分类头的作用是什么？
分类头将变压器的最终输出层的标记向量作为输入，输出与模型词汇大小相同的向量，用于训练或生成文本。
🏷️
