该文综述多项研究：Brainformer比Transformer快5倍且SuperGLUE高3%；Transformer的嵌入与自注意力层编码语义结构；TIM模型通过注意力实现信息分离；部分RNN可内部实现线性自注意力；自注意力建模形式语言存在理论局限；RegularGPT实现工作记忆与长度外推；Transformer和Neural GPU可图灵完备；Transformer在解释阅读时间与神经活动上优于RNN。