大型语言模型快速演变，但其基础架构变化不大。
原文英文，约500词，阅读约需2分钟。
📝
内容提要
解码器-只变压器架构是人工智能研究中的基本概念之一，现代语言模型常使用此架构，包括输入层、因果自注意力、前馈变换、分类头和变压器块。了解此架构是明智的投资。
❓
Q&A
解码器-只变压器架构的主要组成部分有哪些？
解码器-只变压器架构主要由输入层、因果自注意力、前馈变换、分类头和变压器块五个部分组成。
现代语言模型是如何提升性能的？
现代语言模型通过增大模型规模和改进训练过程来提升性能，尽管其架构与原始GPT模型相似。
因果自注意力在解码器-只变压器架构中有什么作用？
因果自注意力允许模型学习输入标记之间的关系，只计算前面标记的注意力分数。
输入层是如何处理文本的？
输入层使用分词器将文本转换为离散的标记，并将其映射到嵌入层的向量。
前馈变换在解码器块中是如何工作的？
前馈变换在每个解码器块内进行，允许对每个标记的表示进行单独变换，使用小型神经网络进行处理。
分类头的作用是什么？
分类头将变压器的最终输出层的标记向量作为输入，输出与模型词汇大小相同的向量，用于训练或生成文本。
🏷️
