【Transformer 与注意力机制】16｜Multi-Head Attention：为什么要分多个头
💡
原文中文，约41300字，阅读约需99分钟。
📝
内容提要
多头注意力机制的核心在于独立计算不同的注意力分布，而非简单平均。理解位置限制和计算复杂度是后续研究的重点。
🎯
关键要点
-
多头注意力机制通过独立计算不同的注意力分布，解决了单头注意力的局限性。
-
多头注意力允许模型在同一层同时建模多种关系，增强了模型的表达能力。
-
多头的设计使得模型能够在不同的表示子空间中关注不同位置的信息。
-
多头注意力的参数量与单头注意力相等，但多头提供了多个独立的softmax分布。
-
在训练阶段，多头机制允许模型学习到不同的模式和关系，而在推理阶段则可以通过共享K/V来提高效率。
-
多头注意力的实现依赖于一次大矩阵乘法和reshape，而不是简单的循环计算。
-
不同头在学习过程中可能会专注于不同的语言学特征，如句法、指代等。
-
头数的选择需要在模型的表达能力和计算复杂度之间找到平衡，过多的头可能导致每个头的表达能力下降。
-
多头注意力的设计是Transformer架构能够扩展到大规模模型的关键因素之一。
❓
延伸问答
多头注意力机制的主要优势是什么？
多头注意力机制通过独立计算不同的注意力分布，增强了模型的表达能力，使其能够在同一层同时建模多种关系。
为什么多头注意力的参数量与单头注意力相等？
多头注意力的设计使得每个头的参数量与单头注意力相同，因为它们的总参数量是基于相同的输入维度切分而成的。
如何选择多头注意力中的头数？
头数的选择需要在模型的表达能力和计算复杂度之间找到平衡，通常建议在4到16之间，过多的头可能导致每个头的表达能力下降。
多头注意力如何提高模型的训练效率？
在训练阶段，多头机制允许模型学习到不同的模式和关系，而在推理阶段则可以通过共享K/V来提高效率。
多头注意力机制的实现依赖于什么？
多头注意力的实现依赖于一次大矩阵乘法和reshape，而不是简单的循环计算，这样可以提高计算效率。
多头注意力机制在语言模型中如何应用？
多头注意力机制在语言模型中用于同时关注不同的语言特征，如句法和指代关系，从而提升模型的理解能力。
➡️
