【Transformer 与注意力机制】12｜Bahdanau Attention：注意力的早期形态
内容提要
本文回顾了2014年Bahdanau等人提出的注意力机制在神经机器翻译中的应用。该机制通过动态计算上下文向量，克服了固定长度向量的局限性，显著提升了长句翻译的质量。Bahdanau的研究为现代自然语言处理中的注意力机制奠定了基础，尽管后来被Transformer取代，但其核心思想仍然具有深远影响。
关键要点
-
Bahdanau等人在2014年提出的注意力机制通过动态计算上下文向量，解决了固定长度向量的局限性。
-
注意力机制的核心思想是让解码器在每一步动态选择源句的相关部分，而不是依赖一个固定的上下文向量。
-
Bahdanau的论文首次系统地将注意力机制应用于神经机器翻译，显著提升了长句翻译的质量。
-
Bahdanau使用双向RNN作为编码器，以便更好地捕捉上下文信息。
-
尽管注意力机制在历史上被Transformer取代，但其核心思想仍然对现代自然语言处理产生深远影响。
延伸问答
Bahdanau注意力机制的核心思想是什么？
Bahdanau注意力机制的核心思想是让解码器在每一步动态选择源句的相关部分，而不是依赖一个固定的上下文向量。
Bahdanau注意力机制如何解决固定长度向量的局限性？
Bahdanau通过动态计算上下文向量，使解码器在每个时间步重新选择源句的相关信息，从而克服了固定长度向量的局限性。
Bahdanau注意力机制与后来的Transformer有什么关系？
尽管Bahdanau的注意力机制在历史上被Transformer取代，但其核心思想仍然对现代自然语言处理产生深远影响，尤其是Q/K/V的抽象源自于此。
Bahdanau注意力机制的打分函数是如何定义的？
Bahdanau的打分函数定义为e_{t,i} = vᵀ tanh(W₁ s_{t-1} + W₂ h_i)，其中s_{t-1}是解码器的上一时刻隐藏状态，h_i是编码器的隐藏状态。
Bahdanau注意力机制在神经机器翻译中的应用效果如何？
Bahdanau注意力机制在神经机器翻译中显著提升了长句翻译的质量，尤其是在处理超过50词的长句时，BLEU分数保持稳定。
Bahdanau注意力机制的实现中有哪些常见错误？
常见错误包括忘记使用unsqueeze(1)来调整维度、mask的极小值设置不当，以及attention pooling方向搞错等。
