用Python代码解释大语言模型的工作原理
内容提要
本文介绍了大型语言模型（LLM）的工作原理，重点关注标记化和标记嵌入技术。标记化将文本分割成更小的单元，可使用字符级、词级或字节对编码法（BPE）等方法。BPE是一种平衡的子字标记化方法，通过频率分析和词对合并生成标记。标记嵌入根据上下文捕获单词语义。文章还介绍了Transformer模型的自注意力机制和位置编码，以及其在处理复杂语言任务中的优势。最后，给出了Python代码示例说明Transformer自注意力机制的基本版本。
延伸解读
标记化：从字符到子词的平衡
文章指出，标记化是LLM处理文本的第一步，将文本分割为标记。字符级标记化简单但序列长、效率低；词级标记化直观但难以处理新词；字节对编码（BPE）作为子词方法，通过频率分析和合并常见字符对，在词汇量和处理效率间取得平衡。BPE能有效表示常见短语，并通过子词单元处理罕见词，适合词汇量大或词形复杂的语言。
标记嵌入：语义的向量化表示
标记嵌入将离散标记映射为高维向量，捕获语义。文章通过Python代码模拟了嵌入的训练过程：随机初始化后，根据上下文调整相关词对的嵌入，使语义相似的标记在向量空间中靠近。这体现了LLM如何通过训练学习单词间的语义关系，为后续Transformer处理提供基础。
Transformer的自注意力与位置编码
Transformer的核心是自注意力机制，它计算每个标记对其他标记的注意力分数，动态调整影响力，从而捕获复杂关系。多头注意力并行关注不同方面，增强理解。由于Transformer缺乏固有序列处理能力，位置编码被加入标记嵌入，提供位置信息，帮助模型理解语言结构。逐层处理使标记表示逐步细化，提升语言理解和生成能力。
代码示例：自注意力的简化实现
文章提供了一个简化的Python代码示例，展示自注意力机制的基本版本。通过缩放点积注意力计算查询、键和值的交互，并使用softmax归一化注意力权重。代码说明中强调，实际Transformer模型更复杂，包含层归一化、残差连接和前馈网络等组件，这些对高级性能至关重要。
Q&A
大语言模型中的标记化是什么？有哪些常见方法？
标记化是将文本分割成更小单元（标记）的过程，以便机器学习模型处理。常见方法包括字符级标记化、词级标记化和字节对编码法（BPE）。字符级将文本划分为单个字符，但序列长、效率低；词级按单词分割，直观但难以处理大量词汇和新词；BPE是一种平衡的子字标记化方法，通过频率分析和词对合并生成标记。
字节对编码（BPE）是如何工作的？
BPE从训练语料库中所有独特字符组成的基础词汇开始，通过反复扫描语料库识别出现频率最高的字符对或标记，并将它们合并成新的标记。这个过程不断重复，每次迭代合并下一个最常见的词对，直到词汇量达到预定大小或所需粒度。对新文本标记化时，算法会搜索最大可能的标记，找不到则分解成更小单元，从而平衡常见词的高效表示和罕见词的准确处理。
标记嵌入是什么？它是如何训练和调整的？
标记嵌入是根据上下文捕获单词语义的过程，将每个标记映射为高维向量。嵌入通常随机初始化，然后通过训练模型调整：模型接触大量文本数据，利用反向传播和优化算法（如随机梯度下降或Adam）迭代调整嵌入，使语义相似的标记在向量空间中接近。例如，相关词对（如“cat”和“feline”）的嵌入会被拉近，从而形成语义图。
Transformer模型中的自注意力机制有什么作用？
自注意力机制是Transformer每层的核心，它计算输入序列中每个标记的注意力分数，衡量模型在处理特定标记时应关注序列中其他标记的程度。这使得模型能根据整个序列动态调整每个标记的影响力，捕获复杂的单词关系。此外，多头注意力并行复制自注意力过程，让每个“头”关注不同方面（如句法或语义），从而获得更丰富的理解。
为什么Transformer需要位置编码？它是如何实现的？
Transformer缺乏固有的序列处理能力（这是RNN等序列模型固有的特征），因此需要位置编码来提供序列中每个标记的位置信息。位置编码通常使用正弦函数生成，添加到标记嵌入中，确保每个位置接收唯一编码，使模型能根据标记顺序区分它们，从而理解语言的流程和结构。
Transformer相比RNN有哪些优势？
Transformer与RNN和LSTM等早期模型的区别在于能够同时处理输入序列中的所有标记，这种并行处理方法提高了计算效率，并能更有效地捕获数据中复杂的依赖关系和关系。通过注意力机制，Transformer还能进行基于内容的查找、绝对位置查找和相对位置查找，从而增强对语言的理解能力。
如何用Python代码实现Transformer的自注意力机制？
可以使用NumPy实现简化的自注意力：定义softmax函数对注意力分数归一化；实现scaled_dot_product_attention函数，计算查询（Q）和键（K）的点积并按K维度的平方根缩放，应用softmax得到注意力权重，再乘以值（V）得到输出。示例中随机初始化3个64维的标记嵌入，将同一组嵌入作为Q、K、V，即可得到注意力输出和权重。
