Transformer 机制在训练人类工作记忆任务时模拟前额 - 纹状体门控操作
内容提要
该文综述多项研究：Brainformer比Transformer快5倍且SuperGLUE高3%；Transformer的嵌入与自注意力层编码语义结构；TIM模型通过注意力实现信息分离；部分RNN可内部实现线性自注意力；自注意力建模形式语言存在理论局限；RegularGPT实现工作记忆与长度外推；Transformer和Neural GPU可图灵完备；Transformer在解释阅读时间与神经活动上优于RNN。
延伸解读
从模型到大脑：门控机制的跨领域启示
文章综述的多项研究表明，Transformer的自注意力与门控机制不仅能提升语言任务表现，还能模拟人类工作记忆中的前额-纹状体门控操作。例如，Brainformer通过稀疏门控前馈层实现高效计算，而TIM模型利用注意力分离信息，这与大脑中门控筛选信息的原理相似。这提示我们，AI模型的设计可能反过来为理解大脑认知提供计算框架。
效率与性能的权衡：Brainformer的实践意义
Brainformer比当前最先进的密集和稀疏Transformer快5倍，且在SuperGLUE上细调后得分高出3%。这一结果说明，通过复合深度神经网络结构（如混合稀疏与紧密前馈层）可以在不牺牲性能的前提下大幅提升效率。对于需要处理长序列或资源受限的场景，这种架构提供了可借鉴的优化方向。
理论局限与自然语言优势的并存
文章指出，自注意力在建模形式语言时存在强烈的理论限制，尤其在处理分层结构方面，但在自然语言处理中却表现卓越。这种反差表明，Transformer的优势可能源于对语义和句法干扰效应的捕捉，而非严格的形式语言能力。读者应认识到，模型在自然语言任务上的成功并不等同于其具备通用的计算能力。
RNN与Transformer的认知合理性之争
有研究通过比较RNN和Transformer在解释阅读时间与神经活动上的表现，发现Transformer更优，这挑战了人类句子处理涉及循环和即时处理的传统观点，并提供了线索检索的证据。同时，部分RNN可内部实现线性自注意力，暗示注意力机制可能并非Transformer独有。这些发现促使我们重新思考不同架构与大脑处理机制的对应关系。
Q&A
Brainformer 模型相比现有 Transformer 有哪些优势？
Brainformer 比当前最先进的密集和稀疏 Transformer 模型快 5 倍，在下游任务评估中，细调后 SuperGLUE 得分比 GLaM 模型高出 3%。
Transformer 的嵌入层和自注意力层如何编码语义结构？
嵌入层和自注意力层通过使同主题单词之间的嵌入内积和自注意力相对较高来编码语义结构。
TIM 模型是如何实现信息分离的？
TIM 模型通过注意力机制让模型的不同部分进行信息交换，从而实现对不同信息的准确分离并提高模型性能。
哪些循环神经网络能够实现线性自注意力？
具备线性循环层和前馈路径的带有乘性门控模式的循环神经网络（RNNs）能够实现线性自注意力。
自注意力在建模形式语言方面有什么理论限制？
自注意力在处理分层结构时存在强烈的理论限制，但在自然语言处理方面表现卓越。
RegularGPT 如何实现工作记忆和长度外推？
RegularGPT 通过 Weight-Sharing、Adaptive-Depth 和 Sliding-Dilated-Attention 实现基于深度的工作记忆，并成功建模 PARITY 等正则语言，在自然语言长度外推任务中表现出了出乎意料的效果。
Transformer 和 Neural GPU 是否图灵完备？
是的，Transformer 和 Neural GPU 都可以纯粹依靠计算和访问数据的内部密集表示而成为图灵完备的，不需要外部存储器。
Transformer 在解释人类语言处理方面与 RNN 相比有何优势？
Transformer 在解释自定步调阅读时间和阅读过程中神经活动方面优于 RNN，并挑战了人类句子处理涉及循环和即时处理的普遍理念，提供了线索检索的证据。
