量子位
·
揭秘注意力机制真正起源！10年前3项研究几乎同时独立提出，背后故事细节被Karpathy晒邮件公开了
💡
原文中文，约3700字，阅读约需9分钟。
📝
内容提要
注意力机制起源于2014年Bengio实验室的研究，而非2017年Transformer论文。实习生Bahdanau提出了简化方案，灵感来自翻译过程中的信息检索。Karpathy在公开邮件中强调了命名对技术传播的重要性。
🎯
关键要点
- 注意力机制起源于2014年Bengio实验室的研究，而非2017年Transformer论文。
- 实习生Dzmitry Bahdanau提出了简化方案，灵感来自翻译过程中的信息检索。
- Karpathy强调命名对技术传播的重要性，原名RNNSearch不够直观，后来改为注意力。
- 2014年的Attention与Alex Graves的Neural Turing Machines和Jason Weston的Memory Networks有相似之处，但动机不同。
- 注意力机制的实现减轻了编码器的负担，使信息可以分布在整个序列中。
- Karpathy对注意力机制的起源论文未获得足够关注表示惊讶，强调好名字对技术传播的影响。
❓
延伸问答
注意力机制的真正起源是什么？
注意力机制起源于2014年Bengio实验室的研究，而非2017年Transformer论文。
谁提出了注意力机制的简化方案？
实习生Dzmitry Bahdanau提出了注意力机制的简化方案。
Karpathy在邮件中强调了什么重要性？
Karpathy强调了命名对技术传播的重要性。
注意力机制如何减轻编码器的负担？
注意力机制允许解码器选择性地检索信息，减轻了编码器将所有信息编码为固定长度向量的负担。
注意力机制与其他研究有何相似之处？
2014年的Attention与Alex Graves的Neural Turing Machines和Jason Weston的Memory Networks有相似之处，但动机不同。
为什么原名“RNNSearch”不够直观？
原名“RNNSearch”不够直观，后来在Yoshua Bengio的建议下改为“注意力”，更能抓住核心概念。
➡️
