【Transformer 与注意力机制】02 向量与点积的几何直觉
💡
原文中文，约33400字，阅读约需80分钟。
📝
内容提要
点积是衡量向量对齐程度的重要运算，结合了长度和方向。在Transformer中，点积用于高效计算注意力。其代数和几何定义相辅相成，代数便于计算，几何提供直观理解。点积在高维空间有效，但需注意随机向量趋于正交的现象。与其他相似度度量相比，点积在工程应用中，尤其是在GPU并行计算时更具优势。
🎯
关键要点
-
点积是衡量向量对齐程度的重要运算，结合了长度和方向。
-
在Transformer中，点积用于高效计算注意力。
-
点积的代数定义和几何定义相辅相成，代数便于计算，几何提供直观理解。
-
点积在高维空间有效，但需注意随机向量趋于正交的现象。
-
与其他相似度度量相比，点积在工程应用中，尤其是在GPU并行计算时更具优势。
❓
延伸问答
点积在Transformer中有什么作用？
点积用于高效计算注意力，衡量向量的对齐程度。
点积的代数定义是什么？
点积的代数定义为两个向量的对应元素相乘后求和，即 \\mathbf{a} \\cdot \\mathbf{b} = a_1 b_1 + a_2 b_2 + ... + a_n b_n。
为什么点积比欧氏距离更适合用于注意力机制？
点积衡量的是方向对齐，而欧氏距离衡量的是差异，注意力机制更关注相关性而非距离。
点积的几何定义是什么？
点积的几何定义为两个向量的长度乘以它们夹角的余弦，即 \\mathbf{a} \\cdot \\mathbf{b} = |\\mathbf{a}| \\cdot |\\mathbf{b}| \\cdot \\cos\theta。
在高维空间中，点积的意义是什么？
在高维空间中，点积仍然有效，但需注意随机向量趋于正交的现象，导致相似度较低。
为什么Transformer使用点积而不是余弦相似度？
Transformer使用点积因为它可以直接通过矩阵乘法实现，且在训练中模型可以自调尺度。
🏷️
标签
➡️
