变压器的最佳记忆容量
原文中文，约2400字，阅读约需6分钟。发表于：。本研究解决了变压器在记忆容量方面的效率理解不足的问题。通过证明变压器在下一令牌预测设置中可以用$\tilde{O}(\sqrt{N})$参数有效记忆标签，研究揭示了其记忆能力与输入长度n影响较小。最重要的发现是，在序列到序列的设置中，$\tilde{O}(\sqrt{nN})$参数不仅是充分的，也是必要的，指出自注意力机制与前馈网络之间的瓶颈。
研究表明，变压器在记忆容量方面效率高，在下一令牌预测中可用$ ilde{O}(\sqrt{N})$参数有效记忆标签，输入长度影响小。在序列到序列设置中，$ ilde{O}(\sqrt{nN})$参数是充分且必要的，揭示了自注意力机制与前馈网络间的瓶颈。研究还分析了变压器组件对表达能力的影响，并提出基于Hopfield网络的理论框架解释注意力机制。
