【Transformer 与注意力机制】26｜前馈网络：那个看似平平无奇的两层 MLP，其实是「记忆」所在
内容提要
本文探讨了Transformer中的前馈网络（FFN），强调其在模型中的重要性。FFN占据了大约三分之二的参数量，是模型存储知识的主要部分。文章分析了FFN的结构、设计选择及其与注意力机制的关系，指出FFN负责每个token的内部计算，而注意力处理token间的通信。现代模型普遍采用SwiGLU替代ReLU，以提高性能。FFN的逐位置计算特性使其在推理时具有并行处理的优势，但也带来了量化时的挑战。整体来看，FFN在Transformer中扮演着核心角色。
关键要点
-
前馈网络（FFN）占Transformer模型参数量的三分之二，是模型存储知识的主要部分。
-
FFN的结构是两层MLP，第一层将维度从d升到4d，经过ReLU激活后再压回d。
-
FFN负责每个token的内部计算，而注意力机制处理token间的通信。
-
现代模型普遍采用SwiGLU替代ReLU，以提高性能，SwiGLU的d_ff设为8d/3。
-
FFN的逐位置计算特性使其在推理时具有并行处理的优势，但在量化时面临挑战。
-
FFN的设计选择包括两层结构和4倍扩张比，这些选择有实证依据。
-
FFN被视为键值记忆，能够存储模型学到的事实和模式。
-
FFN的计算可以无成本地并行，适合在GPU上高效运行。
-
FFN在推理阶段是带宽瓶颈，无法缓存历史计算结果。
-
FFN的激活值分布呈现厚尾特性，导致量化时处理困难。
延伸解读
FFN的重要性
前馈网络（FFN）在Transformer模型中占据了约三分之二的参数量，显示出其在模型容量和知识存储中的核心地位。尽管注意力机制常被视为模型的关键部分，但FFN的设计和实现同样至关重要，尤其是在处理复杂的非线性变换时。
量化挑战
FFN在量化过程中面临显著挑战，尤其是其激活值的厚尾特性可能导致量化精度损失。由于FFN的激活值分布不均，简单的量化方法可能无法有效覆盖所有激活值，导致模型性能下降。因此，在量化FFN时需要采用更复杂的策略以确保模型的稳定性和准确性。
FFN与注意力机制的关系
FFN与注意力机制在Transformer中并不是独立的，而是紧密耦合的。注意力机制负责将上下文信息引入到每个token的隐状态中，而FFN则在此基础上进行非线性变换。两者的结合使得模型能够有效地处理复杂的语言任务，缺一不可。
延伸问答
前馈网络（FFN）在Transformer模型中占据什么样的地位？
FFN占Transformer模型参数量的三分之二，是模型存储知识的主要部分。
FFN的结构是怎样的？
FFN由两层MLP组成，第一层将维度从d升到4d，经过ReLU激活后再压回d。
FFN与注意力机制的主要区别是什么？
FFN负责每个token的内部计算，而注意力机制处理token间的通信。
现代模型为何普遍采用SwiGLU替代ReLU？
SwiGLU提高了性能，能够更好地处理激活值分布的问题。
FFN在推理阶段的计算特性是什么？
FFN的逐位置计算特性使其在推理时具有并行处理的优势，但在量化时面临挑战。
FFN的激活值分布有什么特点？
FFN的激活值分布呈现厚尾特性，导致量化时处理困难。
