小猫都能懂的大模型原理 3 - 自注意力机制
原文中文，约3400字，阅读约需9分钟。
📝
内容提要
本文介绍了大语言模型的自注意力机制，强调其通过并行计算Token间相似度，克服传统RNN模型的局限性。自注意力机制利用Query、Key和Value向量计算注意力权重，动态调整对其他词的关注，生成上下文向量。
🔎
延伸解读
自注意力机制的优势
自注意力机制通过并行计算Token间的相似度，显著提高了处理速度和效率。这种机制克服了传统RNN模型在长序列中信息遗失的问题，使得模型能够更好地理解上下文关系，适用于更复杂的语言任务。
注意力权重的意义
注意力权重反映了模型在处理特定词时对其他词的关注程度。通过Softmax归一化，模型能够动态调整对不同词的重视程度，从而生成更准确的上下文向量。这一过程对于理解句子整体语义至关重要。
因果注意力的作用
因果注意力掩码确保模型在生成文本时只考虑前面的内容，防止后续信息的干扰。这种机制对于训练生成模型尤为重要，因为它模拟了自然语言生成的顺序性，确保模型在学习时遵循逻辑顺序。
❓
Q&A
自注意力机制是如何克服传统RNN模型的局限性的？
自注意力机制通过并行计算Token间的相似度，使得整个上下文中的Token能够互相理解，避免了RNN在长距离依赖时的记忆丢失问题。
自注意力机制中的Query、Key和Value向量有什么作用？
Query、Key和Value向量用于计算注意力权重，动态调整模型对其他词的关注程度，从而生成上下文向量。
如何计算自注意力机制中的注意力权重？
注意力权重通过对相似度进行Softmax归一化得到，表示模型在处理当前词时对其他词的关注程度。
因果注意力掩码的作用是什么？
因果注意力掩码确保模型只考虑前面的内容，防止后续信息的干扰，以便从前面的内容生成后面的内容。
多头注意力机制是如何工作的？
多头注意力机制通过不同的QKV矩阵让模型关注不同的信息，最后将各个头的信息汇总输出。
上下文向量是如何生成的？
上下文向量通过将Value向量与对应的注意力权重相乘并求和得到，综合了句子中各个词的语义信息。
🏷️
