如果今天这篇注意力机制的帖子看不懂的话，就...可以重读大一了
💡
原文中文，约2200字，阅读约需6分钟。
📝
内容提要
Softmax通过两步将分数转化为概率分布：首先取指数以确保分数为正，然后进行归一化以得到权重。转置操作QKᵀ确保查询和键的相似度计算顺利进行。
🎯
关键要点
- Softmax通过两步将分数转化为概率分布：取指数和归一化。
- 第一步是将所有分数取指数，确保分数为正并拉大差距。
- 第二步是计算总和并求比例，得到每个分数的权重。
- Softmax独立地对矩阵的每一行执行这两步操作，生成注意力权重。
- QKᵀ中的T是转置符号，表示行列互换。
- 转置是为了满足矩阵乘法的基本规则，使得Q和K能够相乘。
- 转置后的QKᵀ结果是一个新矩阵，表示查询与每本书的相似度分数。
- 转置的作用是调整K矩阵的形状，使其与Q矩阵兼容进行计算。
❓
延伸问答
Softmax是如何将分数转化为概率分布的？
Softmax通过两步操作实现：第一步是将所有分数取指数，确保为正并拉大差距；第二步是计算总和并求比例，得到每个分数的权重。
为什么Softmax需要将分数取指数？
取指数的目的是确保所有分数为正，并且高分的差距被放大，使得注意力机制能够突出重点。
QKᵀ中的转置符号T有什么作用？
转置符号T的作用是调整K矩阵的形状，使其与Q矩阵兼容进行矩阵乘法，从而计算查询与键之间的相似度。
Softmax如何处理矩阵的每一行？
Softmax独立地对矩阵的每一行执行取指数和归一化操作，将每一行的分数转化为总和为1的注意力权重。
Softmax的归一化步骤是怎样的？
归一化步骤是计算所有取指数后的数值总和，然后将每个数值除以总和，得到每个分数的占比。
转置操作在矩阵乘法中为什么重要？
转置操作确保第一个矩阵的列数与第二个矩阵的行数相等，使得矩阵能够顺利相乘，计算相似度。
➡️
