UsubeniFantasy
·
小猫都能懂的大模型原理 3 - 自注意力机制
💡
原文中文，约3400字，阅读约需9分钟。
📝
内容提要
本文介绍了大语言模型的自注意力机制，强调其通过并行计算Token间相似度，克服传统RNN模型的局限性。自注意力机制利用Query、Key和Value向量计算注意力权重，动态调整对其他词的关注，生成上下文向量。
🎯
关键要点
- 本文介绍了大语言模型的自注意力机制，强调其通过并行计算Token间相似度，克服传统RNN模型的局限性。
- 自注意力机制利用Query、Key和Value向量计算注意力权重，动态调整对其他词的关注，生成上下文向量。
- 自注意力机制让整个上下文里的Token互相理解，计算过程可以并行进行。
- 每个Token通过三个可训练的矩阵计算Query、Key和Value向量。
- 点积用于计算词与当前Query的相似度，点积越大表示相似度越高。
- 对相似度进行Softmax归一化，得到注意力权重，表示模型对其他词的关注程度。
- 上下文向量是通过将Value向量与注意力权重相乘并求和得到的，综合了句子中各个词的语义信息。
- 因果注意力掩码确保模型只考虑前面的内容，防止后续信息的干扰。
- 多头注意力机制通过不同的QKV矩阵让模型关注到不同的信息，最后汇总输出。
❓
延伸问答
自注意力机制是如何克服传统RNN模型的局限性的？
自注意力机制通过并行计算Token间的相似度，使得整个上下文中的Token能够互相理解，避免了RNN在长距离依赖时的记忆丢失问题。
自注意力机制中的Query、Key和Value向量有什么作用？
Query、Key和Value向量用于计算注意力权重，动态调整模型对其他词的关注程度，从而生成上下文向量。
如何计算自注意力机制中的注意力权重？
注意力权重通过对相似度进行Softmax归一化得到，表示模型在处理当前词时对其他词的关注程度。
因果注意力掩码的作用是什么？
因果注意力掩码确保模型只考虑前面的内容，防止后续信息的干扰，以便从前面的内容生成后面的内容。
多头注意力机制是如何工作的？
多头注意力机制通过不同的QKV矩阵让模型关注不同的信息，最后将各个头的信息汇总输出。
上下文向量是如何生成的？
上下文向量通过将Value向量与对应的注意力权重相乘并求和得到，综合了句子中各个词的语义信息。
➡️
