Transformer 个人入门

Transformer 是一种处理序列的模型，核心在于上下文建模。

序列在计算机中通过向量化表示基本单元（token），并利用自注意力机制捕捉元素间关系。

Transformer 架构包括编码器、解码器和编码器-解码器，分别用于理解、生成和翻译任务。

在语言序列中，基本单元是词，在时序数据中是时间点的观测值。

序列长度 N 表示 token 的数量，特征维度 D 表示每个 token 的向量维度。

Batch Size B 表示并行处理的序列数量，N 和 B 的作用不同。

Transformer 的基本原理是将输入序列映射为更丰富的输出序列表示。

Transformer 的中间表示隐式编码了输入序列之间的复杂关系。

注意力机制通过加权求和建模 token 之间的关系，注意力权重是动态的。

多头注意力允许模型在不同子空间中并行建模多种关系模式。

Transformer 架构通过残差连接和层归一化解决深层网络的训练难题。

基于位置的前馈网络增强了模型的表达能力，处理 token 内部的纵向特征。

位置编码用于注入位置信息，确保模型能够捕捉到序列的顺序。

Encoder-only 架构适用于理解与特征提取，Decoder-only 架构适用于生成任务。

Encoder-Decoder 架构结合了理解与生成的优势，适用于翻译等任务。

三种架构各有优缺点，适用于不同的应用场景。