揭秘注意力机制真正起源！10年前3项研究几乎同时独立提出，背后故事细节被Karpathy晒邮件公开了
内容提要
注意力机制起源于2014年Bengio实验室的研究，而非2017年Transformer论文。实习生Bahdanau提出了简化方案，灵感来自翻译过程中的信息检索。Karpathy在公开邮件中强调了命名对技术传播的重要性。
延伸解读
注意力机制的独立发展
注意力机制的出现并非孤立事件，2014年Bengio实验室的研究与Alex Graves的Neural Turing Machines和Jason Weston的Memory Networks有相似之处。这表明在技术发展的关键时刻，不同研究者可能会独立提出相似的创新，反映了科学研究的共性与多样性。
命名的重要性
Karpathy强调了命名对技术传播的影响，原名“RNNSearch”未能直观传达其核心概念，改为“注意力”后更易于理解。这提醒研究者在发布新技术时，选择一个恰当且易于传播的名称至关重要，能够显著提升技术的接受度和影响力。
灵感来源的多样性
注意力机制的灵感来源于人类翻译过程中的信息检索，而非科幻作品。这一背景揭示了科学创新常常源于日常经验和实际需求，研究者应关注生活中的细节，以激发新的思路和解决方案。
Q&A
注意力机制的真正起源是什么？
注意力机制起源于2014年Bengio实验室的研究，而非2017年Transformer论文。
谁提出了注意力机制的简化方案？
实习生Dzmitry Bahdanau提出了注意力机制的简化方案。
Karpathy在邮件中强调了什么重要性？
Karpathy强调了命名对技术传播的重要性。
注意力机制如何减轻编码器的负担？
注意力机制允许解码器选择性地检索信息，减轻了编码器将所有信息编码为固定长度向量的负担。
注意力机制与其他研究有何相似之处？
2014年的Attention与Alex Graves的Neural Turing Machines和Jason Weston的Memory Networks有相似之处，但动机不同。
为什么原名“RNNSearch”不够直观？
原名“RNNSearch”不够直观，后来在Yoshua Bengio的建议下改为“注意力”，更能抓住核心概念。
