xxxx的个人博客
·
Transformer 个人入门
💡
原文中文，约22400字，阅读约需54分钟。
📝
内容提要
Transformer 是一种处理序列的模型，通过向量化表示基本单元（token）并利用自注意力机制捕捉元素间关系。其核心在于上下文建模，以生成更丰富的表示，适用于语言和时序数据。Transformer 架构包括编码器、解码器和编码器-解码器，分别用于理解、生成和翻译任务。
🎯
关键要点
- Transformer 是一种处理序列的模型，核心在于上下文建模。
- 序列在计算机中通过向量化表示基本单元（token），并利用自注意力机制捕捉元素间关系。
- Transformer 架构包括编码器、解码器和编码器-解码器，分别用于理解、生成和翻译任务。
- 在语言序列中，基本单元是词，在时序数据中是时间点的观测值。
- 序列长度 N 表示 token 的数量，特征维度 D 表示每个 token 的向量维度。
- Batch Size B 表示并行处理的序列数量，N 和 B 的作用不同。
- Transformer 的基本原理是将输入序列映射为更丰富的输出序列表示。
- Transformer 的中间表示隐式编码了输入序列之间的复杂关系。
- 注意力机制通过加权求和建模 token 之间的关系，注意力权重是动态的。
- 多头注意力允许模型在不同子空间中并行建模多种关系模式。
- Transformer 架构通过残差连接和层归一化解决深层网络的训练难题。
- 基于位置的前馈网络增强了模型的表达能力，处理 token 内部的纵向特征。
- 位置编码用于注入位置信息，确保模型能够捕捉到序列的顺序。
- Encoder-only 架构适用于理解与特征提取，Decoder-only 架构适用于生成任务。
- Encoder-Decoder 架构结合了理解与生成的优势，适用于翻译等任务。
- 三种架构各有优缺点，适用于不同的应用场景。
🏷️
标签
➡️
