本研究提出了一种基于卷积结构的注意力计算近似方法，可以将注意力矩阵分解为卷积矩阵，实现几乎线性时间的计算。该方法适用于任何输入矩阵，可加速 transformer 注意力计算，实现更长上下文的应用。

本文研究了双层全连接神经网络的早期学习动态，并证明了通过训练简单的线性模型可以模仿其行为。研究还发现这种简单性可以在更多层和具有卷积结构的网络中持续存在。