什么是 GPT？通过图形化的方式来理解 Transformer 中的注意力机制 [译]

Transformer模型是大语言模型的关键技术，首次在2017年的论文《Attention is All You Need》中提出。

注意力机制通过将输入文本分割为Tokens并与高维向量关联，逐步调整嵌入向量以捕捉上下文信息。

模型利用查询、键和值矩阵计算词之间的相关性，从而更新词义。

多头注意力机制允许模型并行处理多种上下文影响，提升预测能力。

注意力机制的工作原理包括计算查询向量、键向量和值向量，以更新嵌入向量。

掩码技术在训练过程中确保后出现的词汇不影响先出现的词汇，保持预测的准确性。

注意力模式的大小与上下文大小的平方成正比，可能成为大型语言模型的瓶颈。

通过多头注意力，模型能够学习上下文改变词义的多种方式，增强预测能力。