Joway's Blog
·
LLM 训练与推理的基本理解
💡
原文中文，约9400字，阅读约需23分钟。
📝
内容提要
本文探讨了大型语言模型（LLM）的训练与推理过程，重点介绍了向量点积、Softmax、LayerNorm、Token化、BPE编码、位置嵌入、自注意力机制和多头注意力等关键概念。这些技术使模型能够理解词语的上下文关系并生成连贯的文本。训练过程中通过损失函数和反向传播优化模型参数，以提高预测准确性。
🎯
关键要点
-
向量点积用于衡量向量相似度，定义为两个向量的乘积和。
-
Softmax将任意分数转换为概率分布，使得每个值在0到1之间且总和为1。
-
LayerNorm用于稳定训练过程，通过去均值和除以标准差来校准向量。
-
Token化将文本转换为Token ID，以便数值化处理，确保模型理解文本间的关系。
-
BPE编码解决了未知词汇的问题，通过合并频繁出现的字符对来构建词表。
-
位置嵌入为词向量添加位置信息，以便模型理解词语的顺序和上下文关系。
-
自注意力机制通过Q、K、V向量计算上下文信息，帮助模型理解词语之间的关系。
-
多头注意力允许模型同时关注多种关系，提升理解能力。
-
MLP（前馈网络）对每个词进行深加工，增强模型的表达能力。
-
反向传播通过计算梯度来优化模型参数，降低损失函数值。
-
模型推理过程通过前向循环生成文本，直到遇到结束符。
❓
延伸问答
什么是向量点积，它的用途是什么？
向量点积是两个向量的乘积和，用于衡量向量的相似度。
Softmax函数的作用是什么？
Softmax函数将任意分数转换为概率分布，使得每个值在0到1之间且总和为1。
什么是BPE编码，它解决了什么问题？
BPE编码通过合并频繁出现的字符对来构建词表，解决了未知词汇的问题。
自注意力机制是如何工作的？
自注意力机制通过Q、K、V向量计算上下文信息，帮助模型理解词语之间的关系。
反向传播在模型训练中起什么作用？
反向传播通过计算梯度来优化模型参数，降低损失函数值。
多头注意力的优势是什么？
多头注意力允许模型同时关注多种关系，提升理解能力。
➡️
