注意力机制起源于2014年Bengio实验室的研究，而非2017年Transformer论文。实习生Bahdanau提出了简化方案，灵感来自翻译过程中的信息检索。Karpathy在公开邮件中强调了命名对技术传播的重要性。
著名AI研究者Andrej Karpathy指出，注意力机制最早由Dzmitry Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》中提出，早于《Attention is All You Need》三年。他强调了注意力机制在深度学习中的重要性，并提到多位研究者的贡献，引发广泛关注。
流行的深度学习模型,其中的思想以及模型在后面其他任务中也经常使用,所以这里介绍一些常用好用的模型.主要介绍attention和transformer系列.
完成下面两步后，将自动完成登录并继续当前操作。
