Transformer模型具有全连接的自注意力、没有梯度消失问题和并行计算的优势。大模型中包含多个Transformer，每个Transformer由多个Encoder Layer和Decoder Layer组成。Encoder负责提取输入序列特征，Decoder用于生成输出序列。每个Encoder Layer包含注意力层和前馈全连接层，每个Decoder Layer包含自注意力层、编码器-解码器互注意力层和前馈全连接层。Word Embedding矩阵用于将单词符号转换为词向量。多头注意力机制可以提升模型表达能力，常用的头数为8或12。