本文探讨了注意力机制的原理，强调其源于认知心理学与神经科学。注意力是处理信息的方式，涉及动态分配权重。人类的注意力是“软”的，允许同时关注多个信息。机器翻译中的对齐问题促使了软对齐的出现，注意力机制通过加权平均实现信息提取。softmax是实现可微选择的关键，注意力机制广泛应用于多个领域，而非仅限于Transformer。